1.Elasticsearch：ignore_malformed，映射异常的解药
https://blog.csdn.net/UbuntuTo ... 20226
2.ES snapshot处理是否操作安全？（需要梯子）
https://medium.com/%40musabdog ... ccbf3
3.怎么去看 ES 的 explain API（需要梯子）
https://medium.com/%40sachin.f ... ec3c8
 

编辑：kin122
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili
 

1. ES知识点串讲（9）ES的文档版本和冲突锁机制（需要梯子）
https://blog.devgenius.io/elas ... 3eef5
2. ES知识点串讲（8）ES是怎么写数据的？（需要梯子）
https://blog.devgenius.io/elas ... 14bc1
3. ES 知识点串讲（7）ES 是怎么读数据的？（需要梯子）
https://blog.devgenius.io/elas ... 9a72c
编辑：斯蒂文
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站： https://ela.st/bilibili
 

1. 一次业务问题对Elasticsearch的cardinality原理探究
   https://zhuanlan.zhihu.com/p/521171849
2. ElasticSearch 全文检索
   https://zhuanlan.zhihu.com/p/458836556
3. ElasticSearch折叠、过滤及高亮
   https://www.jianshu.com/p/0ea076c3c8cc
编辑：yuebancanghai
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili

1.ChatGPT 和 Elasticsearch：分面、过滤和更多上下文
https://www.elastic.co/blog/ch ... ntext
2.使用机器学习、ElasticSearch 和 Grafana 进行实时监控和警报（需要梯子）
https://medium.com/hipay-tech/ ... b4f54
3.使用 ELK 监控 Hashicorp Consul
https://logz.io/blog/hashicorp-consul-metrics/

编辑：Se7en
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站： https://ela.st/bilibili

1.Elasticsearch：实用 BM25 - 第 1 部分：分片如何影响 Elasticsearch 中的相关性评分
https://blog.csdn.net/UbuntuTo ... 26968
2.Elasticsearch：实用 BM25 - 第 2 部分：BM25 算法及其变量
https://blog.csdn.net/UbuntuTo ... 39480
3.Elasticsearch：实用 BM25 - 第 3 部分：在 Elasticsearch 中选择 b 和 k1 的注意事项
https://blog.csdn.net/UbuntuTo ... 68368
 

编辑：kin122
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili
 

1. 喂饭级教程教你用ES做数据分析（需要梯子）
https://medium.com/%40tumersev ... 0d973

2. 5分钟内拿到上千客户的信息，确定不是在难为我胖虎？（需要梯子）
https://medium.com/trendyol-te ... b453d

3. 出错了还有救吗？试试ignore-malformed？（需要梯子）
https://medium.com/%40giuseppe ... c2ce5

编辑：斯蒂文
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili

1. Elasticsearch 如何保证数据不丢失
   https://www.jianshu.com/p/f2a5001edd36
2. ElasticSearch 亿级数据检索深度优化
   https://baijiahao.baidu.com/s% ... %3Dpc
3. 掌握它才说明你真正懂Elasticsearch
   https://zhuanlan.zhihu.com/p/65075215
编辑：yuebancanghai
归档：https://ela.st/cn-daily-all
订阅：https://ela.st/cn-daily-sub
沙龙：https://ela.st/cn-meetup
B站：https://ela.st/bilibili

本文主要测试验证 Elasticsearch 各版本快照在 [Easysearch](https://www.infinilabs.com/doc ... erview) 中进行数据恢复。

准备测试数据

索引


别名


模版


生命周期策略


创建快照

<br /> PUT /_snapshot/my_backup<br /> {<br /> "type": "fs",<br /> "settings": {<br /> "location": "/infini/test/es_backup"<br /> }<br /> }<br /> <br /> PUT /_snapshot/my_backup/snapshot_1<br /> {<br /> "indices": "*",<br /> "ignore_unavailable": false,<br /> "include_global_state": false<br /> }<br /> <br /> GET /_snapshot/my_backup/snapshot_1<br />

• ignore_unavailable：如果 indices 列表中的索引不存在，则是否忽略该索引而不是使快照失败。默认值为 false 。
  
• include_global_state：是否在快照中包含集群状态（包括索引模版、生命周期配置、持久化配置等）。默认值为 true ，建议设为 false。
  
  

  恢复快照
  

  
  <br /> POST /_snapshot/my_backup/snapshot_1/_restore<br /> {<br /> "indices": "*",<br /> "ignore_unavailable": false,<br /> "include_global_state": false,<br /> "include_aliases": true,<br /> "ignore_index_settings": [<br /> "index.lifecycle.indexing_complete"<br /> ]<br /> }<br />
  
  

• ignore_unavailable：如果 indices 列表中的索引不存在，则是否忽略该索引而不是使还原操作失败。默认值为 false 。
  
• include_global_state：是否还原群集状态。默认值为 false 。
  
• include_aliases：是否恢复别名及其关联索引。默认值为 true 。
  
• index.lifecycle.indexing_complete 配置不支持，忽略掉。
  
  

  数据验证
  

  
  

  索引
  

  
  
  
  通过 gateway 进行数据比对
  
  ```
  path.data: data
  path.logs: log
  
  

  show progress bar
  

  progress_bar.enabled: true
  

  
  elasticsearch:
  

  • name: source
    enabled: true
    endpoints:
    
    • http://192.168.3.185:29200
      
  • name: target
    enabled: true
    endpoints:
    
    • https://192.168.3.185:9205
      basic_auth:
      username: admin
      password: admin
      
      pipeline:
      
  • name: index_diff_service
    auto_start: true
    processor:
    
    • dag:
      mode: wait_all
      parallel:
      
      • dump_hash: #dump es1's doc
        sort_document_fields: true
        indices: ".infini_activities-000004" ##需要比对的索引名
        scroll_time: "10m"
        elasticsearch: "source"
        

        query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
        

        fields: "doc_hash"
        

        output_queue: "source_docs"
        batch_size: 5000
        slice_size: 1
        

        hash_func: "xxhash64"
        

      • dump_hash: #dump es2's doc
        indices: ".infini_activities-000004"
        scroll_time: "10m"
        

        fields: "doc_hash"
        

        query_string: "_id:c8es70pu46lgfdgmja9g-1646117763293610802-2"
        

        batch_size: 5000
        slice_size: 1
        

        hash_func: "xxhash64"
        

        elasticsearch: "target"
        output_queue: "target_docs"
        end:
        

      • index_diff:
        diff_queue: "diff_result"
        buffer_size: 10
        text_report: true #如果要存 es，这个开关关闭，开启 pipeline 的 diff_result_ingest 任务
        source_queue: "source_docs"
        target_queue: "target_docs"
        

        pipeline:
        

        - name: diff_result_ingest
        

        processor:
        

        - json_indexing:
        

        index_name: "diff_result"
        

        elasticsearch: "source"
        

        input_queue: "diff_result"
        

        ```
        
        ./gateway-linux-amd64 -config data_check.yml
        
        
        
        

        别名
        

        
        
        
        

        模版
        

        
        <br /> PUT _template/.infini_activities-rollover<br /> {<br /> "order": 100000,<br /> "index_patterns": [<br /> ".infini_activities*"<br /> ],<br /> "settings": {<br /> "index": {<br /> "format": "7",<br /> "lifecycle": {<br /> "name": "ilm_.infini_metrics-30days-retention",<br /> "rollover_alias": ".infini_activities"<br /> },<br /> "codec": "best_compression",<br /> "number_of_shards": "1",<br /> "translog": {<br /> "durability": "async"<br /> }<br /> }<br /> },<br /> "mappings": {<br /> "dynamic_templates": [<br /> {<br /> "strings": {<br /> "mapping": {<br /> "ignore_above": 256,<br /> "type": "keyword"<br /> },<br /> "match_mapping_type": "string"<br /> }<br /> }<br /> ]<br /> },<br /> "aliases": {}<br /> }<br /> <br /> PUT _template/.infini<br /> {<br /> "order": 0,<br /> "index_patterns": [<br /> ".infini_*"<br /> ],<br /> "settings": {<br /> "index": {<br /> "max_result_window": "10000000",<br /> "mapping": {<br /> "total_fields": {<br /> "limit": "20000"<br /> }<br /> },<br /> "analysis": {<br /> "analyzer": {<br /> "suggest_text_search": {<br /> "filter": [<br /> "word_delimiter"<br /> ],<br /> "tokenizer": "classic"<br /> }<br /> }<br /> },<br /> "number_of_shards": "1"<br /> }<br /> },<br /> "mappings": {<br /> "dynamic_templates": [<br /> {<br /> "strings": {<br /> "mapping": {<br /> "ignore_above": 256,<br /> "type": "keyword"<br /> },<br /> "match_mapping_type": "string"<br /> }<br /> }<br /> ]<br /> },<br /> "aliases": {}<br /> }<br />
        
        

        生命周期策略
        

        
        <br /> PUT _ilm/policy/ilm_.infini_metrics-30days-retention<br /> {<br /> "policy": {<br /> "phases": {<br /> "hot": {<br /> "min_age": "0ms",<br /> "actions": {<br /> "rollover": {<br /> "max_size": "50gb",<br /> "max_age": "30d"<br /> },<br /> "set_priority": {<br /> "priority": 100<br /> }<br /> }<br /> },<br /> "delete": {<br /> "min_age": "30d",<br /> "actions": {<br /> "delete": {<br /> }<br /> }<br /> }<br /> }<br /> }<br /> }<br />
        
        注：不支持 "delete_searchable_snapshot": true 配置
        
        

        测试结果
        

        
        | 源集群（Elasticsearch） | 目标集群（Easysearch） | 测试结果 |
        | ----------------------- | ---------------------- | -------------------------- |
        | 7.10.2 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 7.10.1 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 7.10.0 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 7.9.2 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 7.9.0 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 7.8.1 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 7.5.2 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 6.8.12 | 1.0.0 | 索引文档一致，别名恢复成功 |
        | 6.5.4 | 1.0.0 | 索引文档一致，别名恢复成功 |
        
        
        

        关于 Easysearch
        

        
        
        INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。 Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本。 Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
        
        详情参见：[官方文档](https://www.infinilabs.com/doc ... erview)