Elasticsearch – wqh博客 https://wangqianhong.com 和而不同 Fri, 27 Sep 2024 03:38:48 +0000 zh-CN hourly 1 https://wangqianhong.com/wp-content/uploads/2020/09/cropped-1-1-1-32x32.png Elasticsearch – wqh博客 https://wangqianhong.com 32 32 Elasticsearch（十）| Docker证书部署 https://wangqianhong.com/2022/08/elasticsearch%ef%bc%88%e5%8d%81%ef%bc%89-docker%e8%af%81%e4%b9%a6%e9%83%a8%e7%bd%b2/ https://wangqianhong.com/2022/08/elasticsearch%ef%bc%88%e5%8d%81%ef%bc%89-docker%e8%af%81%e4%b9%a6%e9%83%a8%e7%bd%b2/#respond Sat, 13 Aug 2022 02:53:00 +0000 https://wangqianhong.com/?p=3232 使用Docker部署Elasticsearch，并配置证书，使用https访问。 在一个新的空目录中… 继续阅读 Elasticsearch（十）| Docker证书部署

Elasticsearch（十）| Docker证书部署最先出现在wqh博客。

]]> 使用Docker部署Elasticsearch，并配置证书，使用https访问。

在一个新的空目录中，创建以下四个文件：

  • instances.yml
  • .env
  • create-certs.yml
  • docker-compose.yml

instances.yml

instances:
  - name: es01
    dns:
      - es01 
      - localhost
    ip:
      - 127.0.0.1

.env

COMPOSE_PROJECT_NAME=es 
CERTS_DIR=/usr/share/elasticsearch/config/certificates 
ELASTIC_PASSWORD=你的密码

create-certs.yml

services:
  create_certs:
    container_name: create_certs
    image: elasticsearch:7.17.22
    command: >
      bash -c '
        if [[ ! -f /certs/bundle.zip ]]; then
          bin/elasticsearch-certutil cert --silent --pem --in config/certificates/instances.yml -out /certs/bundle.zip;
          unzip /certs/bundle.zip -d /certs; 
        fi;
        chown -R 1000:0 /certs
      '
    user: "0"
    working_dir: /usr/share/elasticsearch
    volumes: ['certs:/certs', '.:/usr/share/elasticsearch/config/certificates']

volumes: {"certs"}

docker-compose.yml

services:
  es01:
    container_name: es01
    image: elasticsearch:7.17.22
    environment:
      - LANG=C.UTF-8
      - LC_ALL=C.UTF-8
      - node.name=es01
      - discovery.seed_hosts=es01,es02
      - cluster.initial_master_nodes=es01,es02
      - ELASTIC_PASSWORD=$ELASTIC_PASSWORD 
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.license.self_generated.type=trial 
      - xpack.security.enabled=true
      - xpack.security.http.ssl.enabled=true
      - xpack.security.http.ssl.key=$CERTS_DIR/es01/es01.key
      - xpack.security.http.ssl.certificate_authorities=$CERTS_DIR/ca/ca.crt
      - xpack.security.http.ssl.certificate=$CERTS_DIR/es01/es01.crt
      - xpack.security.transport.ssl.enabled=true
      - xpack.security.transport.ssl.verification_mode=certificate 
      - xpack.security.transport.ssl.certificate_authorities=$CERTS_DIR/ca/ca.crt
      - xpack.security.transport.ssl.certificate=$CERTS_DIR/es01/es01.crt
      - xpack.security.transport.ssl.key=$CERTS_DIR/es01/es01.key
    volumes: ['data01:/var/lib/elasticsearch/data', 'certs:$CERTS_DIR']
    ports:
      - 9200:9200
    healthcheck:
      test: curl --cacert $CERTS_DIR/ca/ca.crt -s https://localhost:9200 >/dev/null; if [[ $$? == 52 ]]; then echo 0; else echo 1; fi
      interval: 30s
      timeout: 10s
      retries: 5


  wait_until_ready:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.22
    command: /usr/bin/true
    depends_on: {"es01": {"condition": "service_healthy"}}

volumes: {"data01", "certs"}

执行命令

生成证书（只需要一次）：

docker compose -f create-certs.yml run --rm create_certs

启动为SSL/TLS配置的Elasticsearch节点：

docker compose up -d

通过证书，输入密码即可访问

curl --cacert /tmp/ca.crt -u elastic https://localhost:9200

Elasticsearch（十）| Docker证书部署最先出现在wqh博客。

]]> https://wangqianhong.com/2022/08/elasticsearch%ef%bc%88%e5%8d%81%ef%bc%89-docker%e8%af%81%e4%b9%a6%e9%83%a8%e7%bd%b2/feed/ 0 Elasticsearch（九）| bulk(批处理)的命令行 https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e4%b8%83%ef%bc%89-bulk%e6%89%b9%e5%a4%84%e7%90%86%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/ https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e4%b8%83%ef%bc%89-bulk%e6%89%b9%e5%a4%84%e7%90%86%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/#respond Sat, 27 Nov 2021 06:51:00 +0000 https://wangqianhong.com/?p=2448 批处理命令bulk可以在单个请求中一次执行多个索引或者删除更新操作，使用这种方式可以极大的提升索引性… 继续阅读 Elasticsearch（九）| bulk(批处理)的命令行

Elasticsearch（九）| bulk(批处理)的命令行最先出现在wqh博客。

]]> 批处理命令bulk可以在单个请求中一次执行多个索引或者删除更新操作，使用这种方式可以极大的提升索引性能。

官方地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-bulk.html

测试数据

准备好测试数据，保存到bulk.json文件中：

{"create":{"_index":"test_record"}}
{"key":"中华人民共和国国籍","date":"2021-11-15T13:12:00","counts" : 4}
{"create":{"_index":"test_record"}}
{"key":"中华人民共和国国徽","date":"2021-11-16T13:12:00","counts" : 14}
{"delete":{"_index":"test_record","_id" : "pzK5HIQB8xpN1XtdHm7Z" }}
{"update":{"_index":"test","_id":"qjK5HIQB8xpN1Xtdy25q"}}
{"doc":{"date":"2021-12-15T14:12:00"}}

这里一共4个命令，先是创建了国籍和国徽，删除了国歌，把国旗的时间进行了修改。

Bulk批处理

使用下面命令可以执行json文件：

curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/_bulk?pretty  -H 'Content-Type: application/json' --data-binary @bulk.json

bulk会按顺序执行命令，并且如果其中有一个命令错误，依然是执行完毕，并返回每个命令对应的执行结果：

{
  "took" : 3933,
  "errors" : false,
  "items" : [
    {
      "create" : {
        "_index" : "test_record",
        "_id" : "vNoNN4QBHJgRqN7h6HeV",
        "_version" : 1,
        "result" : "created",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 21,
        "_primary_term" : 4,
        "status" : 201
      }
    },
    {
      "create" : {
        "_index" : "test_record",
        "_id" : "vdoNN4QBHJgRqN7h6HeV",
        "_version" : 1,
        "result" : "created",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 22,
        "_primary_term" : 4,
        "status" : 201
      }
    },
    {
      "delete" : {
        "_index" : "test_record",
        "_id" : "pzK5HIQB8xpN1XtdHm7Z",
        "_version" : 2,
        "result" : "deleted",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 23,
        "_primary_term" : 4,
        "status" : 200
      }
    },
    {
      "update" : {
        "_index" : "test_record",
        "_id" : "qjK5HIQB8xpN1Xtdy25q",
        "_version" : 2,
        "result" : "updated",
        "_shards" : {
          "total" : 2,
          "successful" : 1,
          "failed" : 0
        },
        "_seq_no" : 27,
        "_primary_term" : 4,
        "status" : 200
      }
    }
  ]
}

Replace替换

有时候在update的时候可能需要整个替换，在bulk中可以用下面的命令格式：

{"update":{"_index":"search_record","_id":"vNoNN4QBHJgRqN7h6HeV"}}
{"script":{"source":"ctx._source=params","params":{"key" : "中华人民共和国国歌","date" : "2021-10-15T13:12:00","counts" : 1},"lang":"painless"}}

这条命令就是把新加的国籍整个替换成国歌的内容

Elasticsearch（九）| bulk(批处理)的命令行最先出现在wqh博客。

]]> https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e4%b8%83%ef%bc%89-bulk%e6%89%b9%e5%a4%84%e7%90%86%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/feed/ 0 Elasticsearch（八）| search(搜索)的进阶 https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e5%85%ab%ef%bc%89-search%e6%90%9c%e7%b4%a2%e7%9a%84%e8%bf%9b%e9%98%b6/ https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e5%85%ab%ef%bc%89-search%e6%90%9c%e7%b4%a2%e7%9a%84%e8%bf%9b%e9%98%b6/#respond Fri, 19 Nov 2021 13:04:00 +0000 https://wangqianhong.com/?p=2469 在使用elasticsearch进程中，经常需要用到一些类似范围的搜索。 返回查询数量 当使用sea… 继续阅读 Elasticsearch（八）| search(搜索)的进阶

Elasticsearch（八）| search(搜索)的进阶最先出现在wqh博客。

]]> 在使用elasticsearch进程中，经常需要用到一些类似范围的搜索。

返回查询数量

当使用search的时候，默认只返回10条数据，可以通过size参数设置：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record/_search?pretty  -H 'Content-Type: application/json' -d '{"size":100,"query":{"match_all":{}}}'

如果正确就会返回test_record的100条数据：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "test_record",
        "_id" : "vdoNN4QBHJgRqN7h6HeV",
        "_score" : 1.0,
        "_source" : {
          "date" : "2021-11-16T13:12:00",
          "counts" : 11,
          "key" : "中华人民共和国国徽"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "qjK5HIQB8xpN1Xtdy25q",
        "_score" : 1.0,
        "_source" : {
          "date" : "2021-12-15T14:12:00",
          "counts" : 2,
          "key" : "中华人民共和国国旗"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "qDK5HIQB8xpN1Xtdcm4P",
        "_score" : 1.0,
        "_source" : {
          "date" : "2021-10-16T13:12:00",
          "counts" : 0,
          "key" : "中华人民共和国"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "qTK5HIQB8xpN1Xtdm245",
        "_score" : 1.0,
        "_source" : {
          "date" : "2021-11-15T13:12:00",
          "counts" : 1,
          "key" : "中华人民共和国万岁"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "vNoNN4QBHJgRqN7h6HeV",
        "_score" : 1.0,
        "_source" : {
          "date" : "2021-11-15T13:12:00",
          "counts" : 3,
          "key" : "中华人民共和国国籍"
        }
      }
    ]
  }
}

分页查询

使用数据库的时候，当查询结果太多的时候，可以用分页查询，在elasticsearch中也可以：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record/_search?pretty  -H 'Content-Type: application/json' -d '{"from":0,"size":2,"query":{"match_all":{}}}'

from就是起始位置，size就是每次取的数量。

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "test_record",
        "_id" : "vdoNN4QBHJgRqN7h6HeV",
        "_score" : 1.0,
        "_source" : {
          "date" : "2021-11-16T13:12:00",
          "counts" : 11,
          "key" : "中华人民共和国国徽"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "qjK5HIQB8xpN1Xtdy25q",
        "_score" : 1.0,
        "_source" : {
          "date" : "2021-12-15T14:12:00",
          "counts" : 2,
          "key" : "中华人民共和国国旗"
        }
      }
    ]
  }
}

查询排序

使用sort可以对查询进行排序：

url --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record/_search?pretty  -H 'Content-Type: application/json' -d '{"from":0,"size":2,"query":{"match_all":{}},"sort":[{"counts":{"order":"desc"}}]}'

sort是一个数组类型的，可以实现对多个字段的综合排序

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 5,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [
      {
        "_index" : "test_record",
        "_id" : "vdoNN4QBHJgRqN7h6HeV",
        "_score" : null,
        "_source" : {
          "date" : "2021-11-16T13:12:00",
          "counts" : 11,
          "key" : "中华人民共和国国徽"
        },
        "sort" : [
          11
        ]
      },
      {
        "_index" : "test_record",
        "_id" : "vNoNN4QBHJgRqN7h6HeV",
        "_score" : null,
        "_source" : {
          "date" : "2021-11-15T13:12:00",
          "counts" : 3,
          "key" : "中华人民共和国国籍"
        },
        "sort" : [
          3
        ]
      }
    ]
  }
}

Elasticsearch（八）| search(搜索)的进阶最先出现在wqh博客。

]]> https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e5%85%ab%ef%bc%89-search%e6%90%9c%e7%b4%a2%e7%9a%84%e8%bf%9b%e9%98%b6/feed/ 0 Elasticsearch（七）| update(更新)的命令行 https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e4%b8%83%ef%bc%89-update%e6%9b%b4%e6%96%b0/ https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e4%b8%83%ef%bc%89-update%e6%9b%b4%e6%96%b0/#respond Sat, 13 Nov 2021 07:36:00 +0000 https://wangqianhong.com/?p=2454 update是常用操作，官方地址：https://www.elastic.co/guide/en/e… 继续阅读 Elasticsearch（七）| update(更新)的命令行

Elasticsearch（七）| update(更新)的命令行最先出现在wqh博客。

]]> update是常用操作，官方地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update.html

直接通过id更新(_update)

最直接的就是通过id进行更新：

curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/test_record/_update/qDK5HIQB8xpN1Xtdcm4P?pretty  -H 'Content-Type: application/json' -d '{"script":{"source":"ctx._source.counts--","lang":"painless"}}'

上面的命令会把id为qDK5HIQB8xpN1Xtdcm4P，字段为counts的值减1。

如果要同时修改多个id要怎么做呢？直接用{}即可。

https://localhost:9200/test_record/_update/{qDK5HIQB8xpN1Xtdcm4P,qTK5HIQB8xpN1Xtdm245}?pretty

如果正确返回下面的结果：

{
  "_index" : "test_record",
  "_id" : "vdoNN4QBHJgRqN7h6HeV",
  "_version" : 3,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 31,
  "_primary_term" : 4
}
{
  "_index" : "test_record",
  "_id" : "qjK5HIQB8xpN1Xtdy25q",
  "_version" : 3,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 32,
  "_primary_term" : 4
}

通过查询id更新(_update_by_query)

上面的id也可以通过查询进行更新操作：

curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/test_record/_update_by_query?pretty  -H 'Content-Type: application/json' -d '{"query":{"terms":{"_id":["qDK5HIQB8xpN1Xtdcm4P","qTK5HIQB8xpN1Xtdm245"]}},"script":{"source":"ctx._source.counts--","lang":"painless"}}'

和上面的效果是一样的，不过从性能上来说上面是发送了2条update命令，更这里只发送了1条update命令。从返回结果也可以看出区别

{
  "took" : 240,
  "timed_out" : false,
  "total" : 2,
  "updated" : 2,
  "deleted" : 0,
  "batches" : 1,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [ ]
}

通过查询关键字更新(_update_by_query)

curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/test_record/_update_by_query?pretty  -H 'Content-Type: application/json' -d'{"query":{"match":{"key":"中华人民共和国"}},"script":{"source":"ctx._source.counts--","lang":"painless"}}'

这条命令是把含关键字为中华人民共和国记录的counts都减1，如果正确就会返回下面的结果

{
  "took" : 184,
  "timed_out" : false,
  "total" : 5,
  "updated" : 5,
  "deleted" : 0,
  "batches" : 1,
  "version_conflicts" : 0,
  "noops" : 0,
  "retries" : {
    "bulk" : 0,
    "search" : 0
  },
  "throttled_millis" : 0,
  "requests_per_second" : -1.0,
  "throttled_until_millis" : 0,
  "failures" : [ ]
}

Elasticsearch（七）| update(更新)的命令行最先出现在wqh博客。

]]> https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e4%b8%83%ef%bc%89-update%e6%9b%b4%e6%96%b0/feed/ 0 Elasticsearch（六）| search(搜索)的命令行 https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e5%85%ad%ef%bc%89-search%e6%90%9c%e7%b4%a2%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/ https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e5%85%ad%ef%bc%89-search%e6%90%9c%e7%b4%a2%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/#respond Fri, 05 Nov 2021 16:01:00 +0000 https://wangqianhong.com/?p=2403 有了数据就可以开始搜索。 官方文档地址：https://www.elastic.co/guide/e… 继续阅读 Elasticsearch（六）| search(搜索)的命令行

Elasticsearch（六）| search(搜索)的命令行最先出现在wqh博客。

]]> 有了数据就可以开始搜索。

官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/search.html

准备测试数据

为了进行检索，插入一些测试数据：

curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/test_record/_doc?pretty -H 'Content-Type: application/json' -d '{"key": "中华人民共和国","date":"2021-10-16T13:12:00", "counts":2}'
curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/test_record/_doc?pretty -H 'Content-Type: application/json' -d '{"key": "中华人民共和国万岁","date":"2021-11-15T13:12:00", "counts":3}'
curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/test_record/_doc?pretty -H 'Content-Type: application/json' -d '{"key": "中华人民共和国国旗","date":"2021-12-15T13:12:00", "counts":4}'

返回所有数据

获取索引下所有的数据：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record/_search?pretty -H 'Content-Type: application/json' -d '{"query":{"match_all":{}}}'

如果成功返回下面内容
{
  "took" : 552,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "test_record",
        "_id" : "pzK5HIQB8xpN1XtdHm7Z",
        "_score" : 1.0,
        "_source" : {
          "mappings" : {
            "properties" : {
              "key" : "中华人民共和国国歌",
              "date" : "2021-10-15T13:12:00",
              "counts" : 1
            }
          }
        }
      },
      ...
    ]
  }
}

过滤返回

有时候只需要返回部分字段，可以使用下面命令：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record/_search?pretty -H 'Content-Type: application/json' -d '{"query":{"match_all":{}},"_source":["key"]}'

如果成功返回下面内容
{
  "took" : 199,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "test_record",
        "_id" : "pzK5HIQB8xpN1XtdHm7Z",
        "_score" : 1.0,
        "_source" : {
          "key" : "中华人民共和国国歌"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "qDK5HIQB8xpN1Xtdcm4P",
        "_score" : 1.0,
        "_source" : {
          "key" : "中华人民共和国"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "qTK5HIQB8xpN1Xtdm245",
        "_score" : 1.0,
        "_source" : {
          "key" : "中华人民共和国万岁"
        }
      },
      {
        "_index" : "test_record",
        "_id" : "qjK5HIQB8xpN1Xtdy25q",
        "_score" : 1.0,
        "_source" : {
          "key" : "中华人民共和国国旗"
        }
      }
    ]
  }
}

关键字搜索

通过关键字进行检索：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record/_search?pretty -H 'Content-Type: application/json' -d '{"query":{"match":{"key":"国歌"}}}'

如果成功返回下面内容
{
  "took" : 82,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.3260206,
    "hits" : [
      {
        "_index" : "test_record",
        "_id" : "pzK5HIQB8xpN1XtdHm7Z",
        "_score" : 1.3260206,
        "_source" : {
          "key" : "中华人民共和国国歌",
          "date" : "2021-10-15T13:12:00",
          "counts" : 1
        }
      }
    ]
  }
}

Elasticsearch（六）| search(搜索)的命令行最先出现在wqh博客。

]]> https://wangqianhong.com/2021/11/elasticsearch%ef%bc%88%e5%85%ad%ef%bc%89-search%e6%90%9c%e7%b4%a2%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/feed/ 0 Elasticsearch（五）| document(文档)的命令行 https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%ba%94%ef%bc%89-document%e6%96%87%e6%a1%a3%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/ https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%ba%94%ef%bc%89-document%e6%96%87%e6%a1%a3%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/#respond Sat, 30 Oct 2021 03:15:00 +0000 https://wangqianhong.com/?p=2397 索引创建好之后，就可以插入数据，在Elasticsearch中，这样的数据叫document。 官方… 继续阅读 Elasticsearch（五）| document(文档)的命令行

Elasticsearch（五）| document(文档)的命令行最先出现在wqh博客。

]]> 索引创建好之后，就可以插入数据，在Elasticsearch中，这样的数据叫document。

官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/docs.html

Create Document(创建文档)

创建文档的命令：

curl --cacert http_ca.crt -u elastic -XPOST https://localhost:9200/test_record/_doc?pretty -H 'Content-Type: application/json' -d '{"key": "中华人民共和国国歌","date":"2021-10-15T13:12:00", "counts":1}'

如果成功返回下面内容
{
  "_index" : "test_record",
  "_id" : "njKfHIQB8xpN1Xtdv241",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

Get Document(获取文档)

通过上面返回的_id获取文档的命令：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record/_doc/njKfHIQB8xpN1Xtdv241?pretty

如果成功返回下面内容
{
  "_index" : "test_record",
  "_id" : "njKfHIQB8xpN1Xtdv241",
  "_version" : 1,
  "_seq_no" : 0,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "key" : "中华人民共和国国歌",
    "date" : "2021-10-15T13:12:00",
    "counts" : 1
  }
}

Delete Document(删除文档)

通过_id删除文档：

curl --cacert http_ca.crt -u elastic -XDELETE https://localhost:9200/test_record/_doc/njKfHIQB8xpN1Xtdv241?pretty

如果成功返回下面内容
{
  "_index" : "test_record",
  "_id" : "njKfHIQB8xpN1Xtdv241",
  "_version" : 2,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

删除之后再使用上面的Get命令就获取不到了，会返回下面的内容：

{
  "_index" : "test_record",
  "_id" : "njKfHIQB8xpN1Xtdv241",
  "found" : false
}

Elasticsearch（五）| document(文档)的命令行最先出现在wqh博客。

]]> https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%ba%94%ef%bc%89-document%e6%96%87%e6%a1%a3%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/feed/ 0 Elasticsearch（四）| Index(索引)的命令行 https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e5%9b%9b%ef%bc%89-index%e7%b4%a2%e5%bc%95%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/ https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e5%9b%9b%ef%bc%89-index%e7%b4%a2%e5%bc%95%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/#respond Sat, 23 Oct 2021 14:01:00 +0000 https://wangqianhong.com/?p=2384 在Centos服务器上可以使用curl命令来与Elasticsearch交互。 官方文档地址：htt… 继续阅读 Elasticsearch（四）| Index(索引)的命令行

Elasticsearch（四）| Index(索引)的命令行最先出现在wqh博客。

]]> 在Centos服务器上可以使用curl命令来与Elasticsearch交互。

官方文档地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/indices.html

Create Index(创建索引)

创建索引的命令：

curl --cacert http_ca.crt -u elastic -XPUT https://localhost:9200/test_record?pretty -H 'Content-Type: application/json' -d '{"mappings":{"properties":{"key":{"type":"text","analyzer":"ik_smart"},"date":{"type":"date"},"counts":{"type":"integer"}}}}'

如果成功返回下面内容
{
"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "test_record"
}

这里的mappings可以理解为数据库里的表结构。

–cacert，表示https证书所在目录

-u，表示Elasticsearch的用户账号

-XPUT，表示使用PUT方法

pretty，表示返回的json内容格式化输出

-H，表示传输的数据类型

-d，表示传入的json数据

这里定义了三个字段：

key，类型为text（文本），使用ik_smart模式进行分词，方便之后进行检索

date，类型为date（日期）

counts，类型为integer（整数）

Show Index(显示索引)

查看索引的命令：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/test_record?pretty

如果成功返回下面内容
{
  "test_record" : {
    "aliases" : { },
    "mappings" : {
      "properties" : {
        "counts" : {
          "type" : "integer"
        },
        "date" : {
          "type" : "date"
        },
        "key" : {
          "type" : "text",
          "analyzer" : "ik_smart"
        }
      }
    },
    "settings" : {
      "index" : {
        "routing" : {
          "allocation" : {
            "include" : {
              "_tier_preference" : "data_content"
            }
          }
        },
        "number_of_shards" : "1",
        "provided_name" : "test_record",
        "creation_date" : "1666920919590",
        "number_of_replicas" : "1",
        "uuid" : "S94doWMQTWuwLLObEgzGIg",
        "version" : {
          "created" : "8040199"
        }
      }
    }
  }
}

Delete Index(删除索引)

删除索引的命令：

curl --cacert http_ca.crt -u elastic -XDELETE https://localhost:9200/test_record?pretty

如果成功返回下面内容
{
  "acknowledged" : true
}

Elasticsearch（四）| Index(索引)的命令行最先出现在wqh博客。

]]> https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e5%9b%9b%ef%bc%89-index%e7%b4%a2%e5%bc%95%e7%9a%84%e5%91%bd%e4%bb%a4%e8%a1%8c/feed/ 0 Elasticsearch（三）| 基本概念 https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%b8%89%ef%bc%89-%e5%9f%ba%e6%9c%ac%e6%a6%82%e5%bf%b5/ https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%b8%89%ef%bc%89-%e5%9f%ba%e6%9c%ac%e6%a6%82%e5%bf%b5/#respond Tue, 12 Oct 2021 01:19:00 +0000 https://wangqianhong.com/?p=2374 在使用Elasticsearch之前，需要理解一些基本概念，官方文档地址https://www.el… 继续阅读 Elasticsearch（三）| 基本概念

Elasticsearch（三）| 基本概念最先出现在wqh博客。

]]> 在使用Elasticsearch之前，需要理解一些基本概念，官方文档地址https://www.elastic.co/guide/en/elasticsearch/reference/current/elasticsearch-intro.html。

Elasticsearch是一个近乎实时（NRT）的搜索平台。这意味着从索引文档到可搜索文档的时间有一点延迟（通常是一秒）。通常有集群，节点，分片，副本等概念。

集群(Cluster)

集群(cluster)是一组具有相同cluster.name的节点集合，他们协同工作，共享数据并提供故障转移和扩展功能，当然一个节点也可以组成一个集群。

集群由唯一名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设置为按名称加入集群的话，则该节点只能是集群的一部分。

确保不同的环境中使用不同的集群名称，否则最终会导致节点加入错误的集群。

集群状态通过 绿，黄，红 来标识，可以使用下面命令查看：

curl --cacert http_ca.crt -u elastic -XGET https://localhost:9200/_cat/indices\?v

health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open test_map O3bp3-B0Tx12_umWqYyHPA 1 1 4 0 6.9kb 6.9kb
yellow open test_record QXPRPktzTG8g9SOwyj3a6g 1 1 48 0 830.1kb 830.1kb
  • 绿色 – 一切都很好（集群功能齐全）。
  • 黄色 – 所有数据均可用，但尚未分配一些副本（集群功能齐全）。
  • 红色 – 某些数据由于某种原因不可用（集群部分功能）。

节点(Node)

节点，一个运行的 ES 实例就是一个节点，节点存储数据并参与集群的索引和搜索功能。

就像集群一样，节点由名称标识，默认情况下，该名称是在启动时分配给节点的随机通用唯一标识符（UUID）。如果不需要默认值，可以定义所需的任何节点名称。此名称对于管理目的非常重要，您可以在其中识别网络中哪些服务器与 Elasticsearch 集群中的哪些节点相对应。

可以将节点配置为按集群名称加入特定集群。默认情况下，每个节点都设置为加入一个名为 cluster 的 elasticsearch 集群，这意味着如果您在网络上启动了许多节点并且假设它们可以相互发现 – 它们将自动形成并加入一个名为 elasticsearch 的集群。

索引(Index)

索引是具有某些类似特征的文档集合。例如，可以拥有店铺数据的索引，商品的一个索引以及订单数据的一个索引。

索引由名称标识（必须全部小写），此名称用于在对其中的文档执行索引，搜索，更新和删除操作时引用索引。例如上面的test_map和test_record。

文档(Document)

文档是可以建立索引的基本信息单元。例如，可以为单个客户提供文档，为单个产品提供一个文档，为单个订单提供一个文档。该文档以JSON（JavaScript Object Notation）表示，JSON是一种普遍存在的互联网数据交换格式。

在索引/类型中，可以根据需要存储任意数量的文档。请注意，尽管文档实际上驻留在索引中，但实际上必须将文档编入索引/分配给索引中的类型。

分片(Shards)

索引可能存储大量可能超过单个节点的硬件限制的数据。例如，占用1TB磁盘空间的十亿个文档的单个索引可能不适合单个节点的磁盘，或者可能太慢而无法单独从单个节点提供搜索请求。

为了解决这个问题，Elasticsearch 提供了将索引细分为多个称为分片的功能。创建索引时，只需定义所需的分片数即可。每个分片本身都是一个功能齐全且独立的“索引”，可以托管在集群中的任何节点上。

设置分片的目的及原因主要是：

  • 它允许水平拆分/缩放内容量
  • 它允许跨分片（可能在多个节点上）分布和并行化操作，从而提高性能/吞吐量
  • 分片的分布方式以及文档聚合搜索请求的机制完全由 Elasticsearch 管理，对用户而言是透明的

在可能随时发生故障的网络/云环境中，分片非常有用，建议使用故障转移机制，以防分片/节点以某种方式脱机或因任何原因消失。为此，Elasticsearch 允许将索引的分片的一个或多个副本制作成所谓的副本分片或简称副本。

副本(Replicasedit)

副本，是对分片的复制。目的是为了当分片/节点发生故障时提供高可用性，它允许扩展搜索量/吞吐量，因为可以在所有副本上并行执行搜索。

总而言之，每个索引可以拆分为多个分片。索引也可以复制为零次（表示没有副本）或更多次。复制之后，每个索引将具有主分片(从原始分片复制而来的)和复制分片(主分片的副本)。

总结

把Elasticsearch类比关系数据库，比如MySQL，可以得出下面的结论：

关系型数据库 -> Databases(库) -> Tables(表) -> Rows(行) -> Columns(列)。
Elasticsearch -> Index(索引) -> Mapping(映射) -> Documents(文档) -> Fields(属性)。

Elasticsearch集群可以包含多个索引(indices)（数据库），每一个索引可以包含多个映射(Mapping)（表），每一个类型包含多个文档(documents)（行），然后每个文档包含多个字段(Fields)（列）。虽然这么类比，但毕竟这是两个差异化的产品。

Elasticsearch（三）| 基本概念最先出现在wqh博客。

]]> https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%b8%89%ef%bc%89-%e5%9f%ba%e6%9c%ac%e6%a6%82%e5%bf%b5/feed/ 0 Elasticsearch（二）| IK中文分词器安装 https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%ba%8c%ef%bc%89-ik%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%99%a8%e5%ae%89%e8%a3%85/ https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%ba%8c%ef%bc%89-ik%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%99%a8%e5%ae%89%e8%a3%85/#respond Thu, 07 Oct 2021 07:45:58 +0000 https://wangqianhong.com/?p=2291 在使用Elasticsearch 进行搜索中文时，Elasticsearch 内置的分词器会将所有的… 继续阅读 Elasticsearch（二）| IK中文分词器安装

Elasticsearch（二）| IK中文分词器安装最先出现在wqh博客。

]]> 在使用Elasticsearch 进行搜索中文时，Elasticsearch 内置的分词器会将所有的汉字切分为单个字，对于习惯中文的一些形容词、常见名字等无法优雅的处理，此时就需要用到一些开源的分词器，目前用的最多的就是IK分词器（项目地址：https://github.com/medcl/elasticsearch-analysis-ik）

安装

IK分词器的安装十分简单，使用下面命令即可：

elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/8.4.1

注意这里的版本要和Elasticsearch版本一致，否则会报错

java.lang.IllegalArgumentException: Plugin [analysis-ik] was built for Elasticsearch version 8.4.1 but version 8.4.2 is running

当看到下面的输出就表示安装完成：

-> Installed analysis-ik
-> Please restart Elasticsearch to activate any plugins installed

重启Elasticsearch即可

systemctl restart elasticsearch

模式

ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query；

ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。

自定义词库

如果要让分词器支持一些专有词语，可以自定义词库。

IK分词器自带一个main.dic的文件，此文件为词库文件，这个文件在/etc/elasticsearch/analysis-ik/main.dic。

注意这个文件格式必须为utf-8（不要选择utf-8 BOM）。

Elasticsearch（二）| IK中文分词器安装最先出现在wqh博客。

]]> https://wangqianhong.com/2021/10/elasticsearch%ef%bc%88%e4%ba%8c%ef%bc%89-ik%e4%b8%ad%e6%96%87%e5%88%86%e8%af%8d%e5%99%a8%e5%ae%89%e8%a3%85/feed/ 0 Elasticsearch（一）| Centos 安装 Elasticsearch 8.4 https://wangqianhong.com/2021/09/elasticsearch%ef%bc%88%e4%b8%80%ef%bc%89centos-%e5%ae%89%e8%a3%85-elasticsearch-8-4/ https://wangqianhong.com/2021/09/elasticsearch%ef%bc%88%e4%b8%80%ef%bc%89centos-%e5%ae%89%e8%a3%85-elasticsearch-8-4/#respond Thu, 30 Sep 2021 09:53:02 +0000 https://wangqianhong.com/?p=2270 Elaticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据，官网… 继续阅读 Elasticsearch（一）| Centos 安装 Elasticsearch 8.4

Elasticsearch（一）| Centos 安装 Elasticsearch 8.4最先出现在wqh博客。

]]> Elaticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据，官网地址：https://www.elastic.co/cn/

安装

Elasticsearch8.4自带了openjdk，所以不需要再安装java环境

首先安装GPG-KEY

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

第一种方式，使用root用户，进入目录/etc/yum.repos.d/，新建文件elasticsearch.repo，内容如下 ：

[elasticsearch]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=0
type=rpm-md

最后用yum命令安装即可：

yum install --enablerepo=elasticsearch elasticsearch

系统会自动完成安装最新release版本

第二种方式，使用root用户wget手动下载需要的版本进行安装

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.1-x86_64.rpm
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.1-x86_64.rpm.sha512
shasum -a 512 -c elasticsearch-8.4.1-x86_64.rpm.sha512
rpm --install elasticsearch-8.4.1-x86_64.rpm

如果找不到命令shasum command not found，请先执行下面命令安装shasum

yum install perl-Digest-SHA -y

配置

安装完成之后，可以找到系统自动生成的密码

The generated password for the elastic built-in superuser is : OKzrWoarTW8mnpfTcf_z

也可以使用/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic重新自动生成密码

使用systemctl执行命令

systemctl enable elasticsearch.service

这里需要修改/usr/lib/systemd/system/elasticsearch.service中的TimeoutStartSec和ExecStart

ExecStart默认是前台启动，这里需要改成后台启动，不然用systemctl启动之后，到了TimeoutStartSec的时间，Elasticsearch服务就会超时关闭

ExecStart=/usr/share/elasticsearch/bin/systemd-entrypoint -d -p ${PID_DIR}/elasticsearch.pid

TimeoutStartSec默认在是75秒，可以改成150秒，因为第一次加载的时间比较长，否则如果用systemctl start elasticsearch.service命令启动 ，会报错Start operation timed out. Terminating

 TimeoutStartSec=150

修改/etc/elasticsearch/elasticsearch.yml，注释掉cluster.initial_master_nodes，并把集群设置为单结点

cluster.name: test-cluster
node.name: test-node-1
discovery.type: single-node
#cluster.initial_master_nodes: ["9a1ae7a91a36"]

运行

一切就绪就好，就可以启动Elasticsearch

systemctl daemon-reload
systemctl start elasticsearch.service

启动完成之后，systemctl有可能提示失败，这不影响Elasticsearch，可以使用命令查看Elasticsearch是否启动成功

curl --cacert /etc/elasticsearch/certs/http_ca.crt -u elastic https://localhost:9200

输入上面自动生成的密码，看到如下的输出就表示启动成功了：
{
  "name" : "test-node-1",
  "cluster_name" : "test-cluster",
  "cluster_uuid" : "2_iEDUKHSR-EqsYkAKlZog",
  "version" : {
    "number" : "8.4.1",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "2bd229c8e56650b42e40992322a76e7914258f0c",
    "build_date" : "2022-08-26T12:11:43.232597118Z",
    "build_snapshot" : false,
    "lucene_version" : "9.3.0",
    "minimum_wire_compatibility_version" : "7.17.0",
    "minimum_index_compatibility_version" : "7.0.0"
  },
  "tagline" : "You Know, for Search"
}

如果启动失败，可以查看/var/log/elasticsearch/test-cluster.log日志文件来追踪问题。

Elasticsearch（一）| Centos 安装 Elasticsearch 8.4最先出现在wqh博客。

]]> https://wangqianhong.com/2021/09/elasticsearch%ef%bc%88%e4%b8%80%ef%bc%89centos-%e5%ae%89%e8%a3%85-elasticsearch-8-4/feed/ 0