1. 十亿级索引性能优化的一些小经验总结。 http://t.cn/RmAME9K

2. ElasticSearch插件开发-Similarity插件。 http://t.cn/RmAM3cY

3. 案例分享：Voxpopme怎么使用elasticsearch获得十倍的性能提升。 http://t.cn/RmAMHin

• 编辑：金桥

• 归档：https://elasticsearch.cn/article/562

• 订阅：https://tinyletter.com/elastic-daily

0、授人以渔，少走半年弯路！

死磕 Elasticsearch 方法论：普通程序员高效精进的 10 大狠招！

一、Elasitcsearch基础篇

1.1 Elasitcsearch基础认知

1、Elasticsearch学习，请先看这一篇！

2、Elasticsearch增、删、改、查操作深入详解

3、Elasticsearch 索引存储深入详解

1.2 Elasticsearch集群部署

4、Elasticsearch安装与测试验证详解

5、Elasticsearch windows下一键安装实现深入详解

6、Elasticsearch集群部署详解

7、Elasticsearch5.4.0(head/kibana/logstash)安装部署深入详解

1.3 Elasticsearch 插件安装

8、Elasticsearch插件一——-head插件安装详解

9、Elasticsearch插件二—— kibana插件安装详解

10、Elasticsearch插件三—— Marvel插件安装详解

11、Elasticsearch插件四—— logstash插件安装详解

12、Elasticsearch插件五—— graph插件安装详解

13、Elasticsearch插件六—— 分词 IK analyzer插件安装详解

14、Elasticsearch5.4.0 IK分词插件安装详解

1.4 Elasticsearch小试牛刀

15、ES技术团队划重点 | ES5.X，你必须知道的API和相关技巧

16、Elasticsearch检索分类深入详解—基础篇

17、上线必备 | 高性能ES5.X部署配置清单

18、 Elasticsearch究竟要设置多少分片数？

19、深究｜Elasticsearch单字段支持的最大字符数?

20、Elasticsearch6.X 新类型Join深入详解

二、Elasticsearch进阶篇

2.1 Elasitcsearch数据同步

2.1.1 ES与关系型数据库同步

21、logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解

22、elasticsearch-jdbc实现MySQL同步到ElasticSearch深入详解

23、go-mysql-elasticsearch实现mysql 与elasticsearch实时同步深入详解

24、mysql 与elasticsearch实时同步常用插件及优缺点对比

25、logstash-input-jdbc 同步原理及相关问题解读

26、 logstash-input-jdbc实现oracle 与elasticsearch实时同步详解

27、logstash一次同步Mysql多张表到ES深入详解

2.1.2 ES与非关系型数据库同步

28、 logstash_output_mongodb插件用途及安装详解

29、 logstash-output-mongodb实现Mysql到Mongodb数据同步

30、logstash-out-mongodb实现elasticsearch到Mongodb的数据同步

31、mongo-connector实现MongoDB与elasticsearch实时同步深入详解

2.1.3 ES与Kafka同步

32、kafka数据同步Elasticsearch深入详解

2.1.4 ES文件同步

33、 Elasticsearch批量导入本地Json文件Java实现

34、logstash实现日志文件同步到elasticsearch深入详解

2.1.5 ES同步小结

35、如何将不同类型数据导入Elaticsearch中？

36、一张图理清楚关系型/非关系型数据库与Elasticsearch同步

2.2 Elasticsearch检索进阶

37、你必须知道的23个最有用的Elasticseaerch检索技巧

38、Elasticsearch实战 | match_phrase搜不出来，怎么办？

2.3 Elasitcsearch聚合进阶

39、 Elasticsearch聚合深入详解——对比Mysql实现

40、Elasticsearch聚合后分页深入详解

41、Elasticsearch聚合优化 | 聚合速度提升5倍

2.4 Elasticsearch Java API 详解

42、 Elasticsearch Java API深入详解

43、Elasticsearch Jest实战深入详解

2.5 Elasitcsearch数据迁移

44、Elasticsearch索引迁移的四种方式

2.6 Elasticsearch性能测试

45、 Elasticsearch自定义脚本完成性能测试

46、Elasticsearch性能测试工具rally深入详解

47、esrally性能分析结果图形化展示深入详解

48、esrally性能测试原理

2.7 Elasitcsearch安全监控

49、Elasticsearch6.2.2 X-Pack部署及使用详解

三、Elasticsearch实战篇

3.1 Elasticsearch应用场景

50、Elasticsearch的使用场景深入详解

51、 Elasticsearch全文检索实战小结

3.2 Elasticsearch架构设计

52、 Elasticsearch实战——全文检索架构设计

53、干货 |《深入理解Elasticsearch》读书笔记

3.3 Elasticsearch项目实战

54、Elasticsearch全文检索系统实现深入详解

55、 Elasticsearch大文件检索性能提升20倍实践（干货）

56、刨根问底 | Elasticsearch 5.X集群多节点角色配置深入详解

57、干货 | Elasticsearch5.X Mapping万能模板

58、干货 | Elasticsearch 集群健康值红色终极解决方案

59、 实战 | Elasticsearch打造知识库检索系统

60、Elasticsearch实战 | 必要的时候，还得空间换时间!

61、 Elasticsearch全量数据增量遍历实现原理

62、 Elasticsearch索引增量统计及定时邮件实现

更多干货，持续更新中..... 更新地址：http://t.cn/Rmwzx9t

#!/bin/bash

ESIP=127.0.0.1

DATE=`date -d '-2 days' +'%Y.%m.%d'`

INDEX='{ "indices": "'$DATE'" }'

echo "begin to backup ES LOG..."

 

curl -XPUT "http://$ESIP:9200/_snapshot/my_backup/snapshot_$DATE?wait_for_completion=true" -d $INDEX

 

echo "----------------------------------------------------------------------------"

 

echo "begin to clean ES LOG..."

 

URL1="http://$ESIP:9200/filebeat-$DATE"

 

curl -XDELETE $URL1



 

echo "TRANSFER AND CLEAN ES LOG END!"

第1章 课程概述
对课程整体进行介绍给出相关学习说明和建议

第2章 Elasticsearch 篇之 入门
本章会对 Elasticsearch 篇进行一个总体的介绍，让大家对该篇每一章要讲解的内容有初步的了解。然后会讲解 Elasticsearch 中常见的术语、api，然后运行 Elasticsearch 并实际感受 api 的调用方式，为接下来的课程做好准备。

第3章 Elasticsearch 篇之倒排索引与分词
本章会讲解搜索引擎的基础倒排索引，让大家对倒排索引有一个直观的认识，掌握它的组成。然后为大家讲解分词的相关知识，介绍 es 内置的分词器，还会介绍中文分词的常见解决方案。

第4章 Elasticsearch 篇之Mapping 设置
本章会讲解 Elasticsearch 中数据建模的基础--Mapping，即如何定义数据字段和类型。让大家熟悉 mapping 中常见的配置项，也会讲解 dynamic mapping 和 template 的相关知识。

第5章 Elasticsearch 篇之Search API 介绍
本章会讲解搜索特性，详细讲解 Search API 的组成和分类，带领大家逐个了解、掌握 API 的使用方法和技巧。

第6章 Elasticsearch 篇之分布式特性介绍
本章会讲解 Elasticsearch 集群是如何一步步搭建起来的，让大家了解不同节点类型的作用，shard 设计的意义以及文档是如何存储到 shard 上的，也会给大家介绍脑裂等问题。

第7章 Elasticsearch 篇之深入了解 Search 的运行机制
本章会深入讲解 Search 的运行机制，比如 Query 和 Fetch 阶段具体哪些工作，分片为相关性算分带来了哪些问题。另外还会讲解排序、分页与遍历的解决方案和相关问题。

第8章 Elasticsearch 篇之聚合分析入门
本章会介绍 Elasticsearch 聚合分析的功能，让大家了解其分类、组成，带领大家逐个了解、掌握每一个聚合 API 的使用方法和技巧，为后续 Kibana 使用打好基础。

第9章 Elasticsearch 篇之数据建模
本章会介绍使用 Elasticsearch 中要注意的数据建模常见问题以及优化思路和方案，让大家可以根据自己的业务场景设置最合理的模型。

第10章 Elasticsearch 篇之集群调优建议
本章会介绍 Elasticsearch 集群在搭建、配置上的注意事项，也会讲解读写性能优化的方案和调优的方式。

第11章 Logstash 篇之入门与运行机制
本章会介绍 Logstash 的作用、使用方法，让大家了解其组成和运行机制，带领大家实际操作 Logstash 来收集1个日志文件。

第12章 Logstash 篇之插件详解
本章会详细介绍 Input、Filter、Ouput 以及 Codec 插件 的作用和相关配置，让大家了解常见相关插件的使用场景和效果，以及如何合理选择各个插件来实现自己的业务需求。

第13章 Logstash 篇之实例分析
本章会以实例的形式为大家演示如何使用 Logstash 收集各种类型的数据，比如日志文件、数据库、tcp/udp 等。

第14章 Beats 篇之Filebeat
本章会介绍 Beats 的作用和组成，然后为大家详细介绍 Filebeat 的功能和常见配置，同时会详细讲解如何使用 Module 模块来快速完成日志的收集到分析工作。

第15章 Beats 篇之Metricbeat
本章会介绍 Metricbeat 的功能和使用技巧，让大家对 Metricbeat 的使用有一个直观的感受。

第16章 Beats 篇之Packetbeat
本章会介绍 Packetbeat 的功能和使用技巧，带领大家用 Packetbeat 来收集网络数据并进行分析，让大家对 Packetbeat 有一个直观的感受。

第17章 Beats 篇之其他 beat
本章会介绍其他众多beat的作用和应用场景，带领大家去发现社区提供的多种多样的beat,以满足日常业务开发的需求。

第18章 Kibana 篇之 入门与管理
本章会介绍 Kibana 的入门知识，让大家对 Kibana 有一个整体的了解，另外还会详细介绍Management 的功能，熟悉 Kibana 的配置。

第19章 Kibana 篇之 数据探索 Discovery
本章会介绍 Kibana 的数据探索功能，让大家了解 Discovery 的功能和使用技巧。

第20章 Kibana 篇之 可视化分析
本章会介绍Kibana 的可视化分析功能，首先会带领大家逐个操作 Kibana 提供的每一个图表，并会介绍时序分析工具 Timelion，然后会介绍如何使用 Dashboard功能来整合图表后讲故事或者做报表，也会讲解 Dashboard 使用中要注意的问题和使用技巧。 ...

第21章 实践篇 之搜索项目
本章会讲解一个搜索引擎相关的实践项目，带领大家通过编写少量的代码，快速基于 Elastic Stack 来构建一个具备常见搜索功能的系统，比如类似 Airbnb 的搜房系统、豆瓣电影等。

第22章 实践篇 之日志分析项目
本章会根据慕课网的日志为大家展示如何使用 Elastic Stack 来快速分析日志数据，带领大家一步步完成数据收集、处理、存储到可视化分析的步骤，最终打造属于自己的 Dashboard。

第23章 实践篇 之数据分析项目
本章会为大家展示如何使用 Elastic Stack 来分析身边的数据，比如空气质量分析、订单数据分析等等，让大家通过本章的学习可以快速将 Elastic Stack 应用到实际生活中。
 

1. 利用Kibana的vega绘制桑基图 http://t.cn/Rn3IA5I

2. 可视化基础篇：利用kibana绘图。 http://t.cn/Rn3INrW

3. lucene索引原理介绍。 http://t.cn/Rn3JgFv

• 编辑：bsll

• 归档：https://elasticsearch.cn/article/554

• 订阅：https://tinyletter.com/elastic-daily

1. filebeat5.3.1结合rancher和data-volume实现横向扩展。 http://t.cn/RHHKOEf

2. 基于filebeat二次开发Kubernetes日志采集。 http://t.cn/RnRxR6m

3. 将systemd/journald数据发送到到Logstash/Elasticsearch的shipper。 http://t.cn/Rj56r0y

• 编辑：金桥

• 归档：https://elasticsearch.cn/article/552

• 订阅：https://tinyletter.com/elastic-daily