1.  Hawkular 与 Elasticsearch 集成，实现监控报警：http://t.cn/R9kMKgC 和 http://t.cn/R9kMWIl

2. 借助 Elasticsearch 来实现网站交互的追踪：http://t.cn/R9kMs8G  

3. 微服务监控实战：http://t.cn/R9kxtFF

4. 中国人寿的 Elastic 选择之路： http://t.cn/R9kJ6Wi
 

编辑：Medcl
归档：https://elasticsearch.cn/article/225
订阅：https://tinyletter.com/elastic-daily
  收起阅读 »

1.Kafka Elasticsearch Connect: From 9,071 to 1 Line of Code http://t.cn/R9eL0zT
使用 一句 shell 脚本将 Kafka 的数据存入 es，你可以做到吗？

2.Timelion Tutorial – From Zero to Hero http://t.cn/R9eyjfe
如果你想学习 Kibana 中的 Timelion 功能，那么不要错过这篇文章哦！

3.Elasticsearch cheetsheet http://t.cn/R9eGZFc
送你一份 Elasticsearch 的 cheetsheet，再也不用为记不住语法发愁了！

编辑：rockybean

归档：https://elasticsearch.cn/article/224

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. Elastic :heart: Windows (aka Windows MSI Installer release)  http://t.cn/R9rIrc0

   你知道es发布了windows MSI版本吗？

2. High-quality-recommendation-systems-with-elastic 

   part1:http://t.cn/Rcp2m5J

   part2:http://t.cn/Rcp2m5i    

3. 你知道最受欢迎的数据库排行吗？ http://t.cn/R9rIVOB

   周末放松一下，看一下目前排名前十的数据库吧,es也在其列哦！

编辑：bsll

归档：https://elasticsearch.cn/article/223

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. Text Classification made easy with Elasticsearch  http://t.cn/RahB79C

   你可能不知道,es也可以做文本分类哦！

2. ES内存那点事 http://t.cn/R9uJcWg

   有关es内存的问题一网打尽，感谢wood在社区的分享

3. Solr VS Elasticsearch  http://t.cn/zjZ9f80

   同样都是基于Apache Lucene，Solr 和 Elasticsearch 究竟差在哪 

编辑：bsll

归档：https://elasticsearch.cn/article/222

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.有赞订单管理的三生三世与“十面埋伏”  http://t.cn/R6rEbC1


订单系统是电商交易的核心，如何实现海量订单数据的管理呢？来看看有赞的解决方案以及 es 在其中发挥的作用吧！

2.高可用日志探险——基于 Kubernetes 中的 ELK http://t.cn/R9nL7kg

来看看 Parsec 工程师基于 Kubernetes 使用 ELK 的经验分享！

3.Building a Better Search Experience in Kibana http://t.cn/R9RLj5f

在 Kibana 6.0.0-Beta1 中新增了 Kuery 查询语言，相比之前 Lucene 的查询语言使用体验更好，快来体验下吧！

4.Github UseCase http://t.cn/R9RZb04

天天上 Github 的你可知道它背后大量使用了 elastic 的产品吗？来看看 Github 是如何用的吧!




编辑：rockybean

归档：https://elasticsearch.cn/article/221

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.elasticsearch中的机器学习集群规模设计
http://t.cn/R9QP6II
elastic stack 5之后推出了机器学习的功能，越来越多的公司开始使用elastic的机器学习功能来进行安全分析，操作分析，那么在elastic stack中机器学习应该怎么分配资源呢？

2.日志聚合和APM，不一样的事情
http://t.cn/R9QzkKE
在这篇文章中，我们将看一下日志聚合与APM，以及这两个数据累积/分析域之间的关系，以及为什么重要的是使用一整套适合的工具来解决这两个问题，而不是一个单一工具。

3.用heartbeat监控服务的运行情况
http://t.cn/R9QZvYJ
如何使用elastic stack中的Heartbeat的监控服务，并结合elasticsearch，kibana一起使用。

4.elastic stack 6.0 beta了，参加官方的先锋计划
http://t.cn/R9QZz9J
参与官方6.0试用，赢Elastic{ON}参会机票。

编辑：金桥

归档：https://elasticsearch.cn/article/220

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 

$ metricbeat modules list

$ metricbeat modules enable redis

$ metricbeat modules disable redis

头条新闻：Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn 
 
 
注意啦，现在 6.0 还没 GA，不建议直接上生产环境，但是鼓励大家本地测试，和 5.0 一样，我们这次也有一个 Elastic Pioneer 活动，踊跃测试并发现 bug 的同学，可以获得 6.0 特殊纪念礼品一份，欢迎大家一起来捉虫，捉到的 Bug 直接在对应的 GitHub 上提交 issue，打上对应的版本 tag，如6.0.0-beta1 即可参与活动。

 

6.0 beta1 作为一个具备里程碑意义的版本，相比之前的 alpha 版本，又包含了哪些激动人心的新特性呢，下面我们分别来看一下吧。
 

Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased

• Sequence numbers and fast recovery

新的序列号机制会为每一个增删改操作分配一个顺序号，可以实现操作层面的细粒度复制，避免低效的基于索引文件的拷贝与 translog 的重做；Translog 使用新的过期机制，默认是 12 小时或者 512MB 大小，方便副本的快速恢复；该特性也为后面的跨数据中心的数据同步铺平了道路。

• Search scalability

移除 _field_stats 接口，现在每个搜索请求多了一个轻量级的 shard prefiltering phase，提前过滤掉不需要参与实践查询的 shards，并在 shard 级别判断查询是否有效，并重写查询，只在真正有相应数据的 shard 上执行查询；新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。

• Preventing full disks

新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入；限制 Elasticsearch 的日志占用，默认按 128MB 滚动覆盖，限制 ES 总日志文件大小不超过 2GB。

• Removal of default passwords

为了更加安全，XPack 的默认密码 changeme 去掉了，提供了相应的工具来进行配置。

• 优化 Profiling 的开销占用，进一步较少针对超时及查询取消的检查开销
• 提升 Percolator 的性能

 更多改进：[Beta1 Release Notes]
 
 
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased

• Upgrade Assistant and Rolling Upgrade Support

 
新增的集群升级助手，属于 X-Pack 的免费功能，自动帮你诊断集群升级要处理的各种问题，支持跨大版本间滚动升级的检测。

• Watcher UI for Threshold Based Alerts

新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。

• Experimental Kibana Query Language

引入新的 Kibana 查询语言：Kuery，支持智能提示和错误失败等丰富的特性。

• Refactoring of the Visualizations Code

通过此次重构，开发者不再受限于只能使用 Angular 来做渲染了，以及扩展更多的灵活性，方便对 Kibana 的二次开发。

• X-Pack Monitoring Email Notifications for Cluster Alerts

支持设置监控的告警邮件发送。

• Cluster Alert for X-Pack License Expiration

证书过期现在有自动的提示了。

• New Colors to Improve Accessibility

改进Kibana的可用性，如导航的快捷键支持，对色盲色弱用户的友好支持等。

• Full Screen Mode for Dashboard

新增的全屏模式对 Dashboard 的大屏展现更加友好。


更多详情：[6.0 Beta1 Release Notes]  

 
Logstash [下载] 
https://www.elastic.co/blog/lo ... eased

• Pipeline Viewer

X-Pack Basic 新增的免费功能，用户可以非常直观的了解管道配置，以图形化的方式来展现，从而了解数据流向与处理逻辑，包括管道执行的各项重要指标，从而优化 Logstash 性能。

• Centrally manage configurations

用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件，并动态修改生效，不需要重启和单独维护每个 Logstash 的实例。

• Ingest to Logstash convertor

提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。

$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf 

 
 Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased

• Auditbeat

一个新的 Beat，通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。

• New commands and configuration layout

一些常见的操作，你现在可以直接通过命令的方式来快速操作了。

$ metricbeat modules list

$ metricbeat modules enable redis

$ metricbeat modules disable redis

• Add Docker metadata to the Docker logs

将 Docker 相关的元数据附加到日志里面，从而丰富上层的分析与应用，详情可见这篇博客：https://www.elastic.co/blog/en ... ebeat

• Internal pipeline refactoring

Beats 在管道这一块做了大量的重构，现在不支持 1 个管道 2 个输出了。
 
更多详情：[Beta1 Release Notes] 
 
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased

• Spark 2.2.0 and Stable Support for Spark Structured Streaming
• Support for new Join Fields
• Multiple Mappings and Multiple Index Reads

 
更多详情：[Release Notes]
 
上面介绍的众多特性，相信总有一个能让你动心，赶紧下载试试吧，记得反馈哦！
  收起阅读 »

1.采集生产环境的数据并进行分析，log or metrics 是一个问题 http://t.cn/R9TSJNl

2.应对不同数据量/场景的Elastic Stack架构 http://t.cn/R9ToO9C

Elastic 官方推荐

3.Elastic 官方于昨晚发布了6.0.0 beta 版，Elastic Stack 已进入一个全新的时代 http://t.cn/R9HhiNs

同时发布的还有 Kibana 和 Beats 6.0.0 beta 版

 

编辑：江水

归档：https://elasticsearch.cn/article/218

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.了解 Kibana 最新的针对时序型数据的 Time Series Visual Builder，看这两篇博客就够了：

http://t.cn/R9lbflp 和 http://t.cn/R9lbq3W

2.基于 Kibana 的开源的分析方案，实时掌握加密货币(如：比特币)的最新行情：

http://t.cn/R9lGuZi

3.Github 工程师团队分享的如何实现项目标签的智能推荐：

http://t.cn/R9lqS2A

 

编辑：Medcl

归档：https://elasticsearch.cn/article/217

订阅：https://tinyletter.com/elastic-daily
  收起阅读 »

1.大规模Elasticsearch集群管理心得 http://t.cn/RSrUeoY

来自携程wood的干货分享，对于大规模100+ node的管理感兴趣的同学快来看看吧！

2.Elasticsearch前沿：ES 5.x改进详解与ES6展望 http://t.cn/R90xiRF

Elasticsearch 6.0都快来了，你不会还不知道 5.x 的特性吧？！快来看看 medcl 的分享吧

3.Elastic Stack 官方实例 http://t.cn/RyCRVU4

Elastic Stack的产品不会用？！来看看官方的例子吧，从es 到 X-Pack 应有尽有，快来学习吧！




编辑：rockybean

归档：https://elasticsearch.cn/article/216

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. 基于Elasticsearch构建千亿流量日志搜索平台实战 http://t.cn/R9hVYoW

来自七牛云的大数据高级工程师使用ES的经验分享




2. Autocomplete Using Elasticsearch http://t.cn/R9Sjr07

怎么实现谷歌、百度搜索的自动补全，这里利用es提供了一种可能的方法




3. 谈谈ES的Recovery http://t.cn/R9SsrK2

关于ES集群的快速恢复，社区里的这篇文章值得一看。




编辑：bsll

归档：https://elasticsearch.cn/article/215

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

installDir=$1

curl -L -O https://artifacts.elastic.co/d ... ar.gz



mkdir $installDir

echo "安装的位置$installDir"

tar -xvf elasticsearch-5.2.2.tar.gz -C $installDir



mv $installDir/elasticsearch-5.2.2 $installDir/elasticsearch

echo "添加es用户 esuser 组 esuser"

groupadd esuser

useradd esuser -g esuser -p esuser



echo "输入es用户密码"

passwd esuser



cd $installDir

chown -R esuser:esuser $installDir/elasticsearch

###sh +x $installDir/elasticsearch/bin/elasticsearch -Ecluster.name=my_cluster_name -Enode.name=my_node_name



function install_mvn(){

wget http://repos.fedorapeople.org/ ... .repo -O /etc/yum.repos.d/epel-apache-maven.repo

yum -y install apache-maven



}

function getik(){

ver="v5.2.2"

yum -y install git

git clone https://github.com/medcl/elasticsearch-analysis-ik

cd elasticsearch-analysis-ik

git checkout tags/$ver

mvn clean

mvn compile

mvn package

cd -



}

install_mvn

version=5.2.2

getik

mkdir $installDir/elasticsearch/plugins/ik

unzip elasticsearch-analysis-ik/target/releases/elasticsearch-analysis-ik-$version.zip -d $installDir/elasticsearch/plugins/ik

1：需要传入安装路径这个参数
2：默认是安装5.2.2，可以在脚本中修改
注意：
因为不能上传.sh结尾的，我把后缀名改为.doc 使用的时候再改回.sh即可
 
有不完善的地方，还望大家指正(:
 

installDir=$1

curl -L -O https://artifacts.elastic.co/d ... ar.gz



mkdir $installDir

echo "安装的位置$installDir"

tar -xvf elasticsearch-5.2.2.tar.gz -C $installDir



mv $installDir/elasticsearch-5.2.2 $installDir/elasticsearch

echo "添加es用户 esuser 组 esuser"

groupadd esuser

useradd esuser -g esuser -p esuser



echo "输入es用户密码"

passwd esuser



cd $installDir

chown -R esuser:esuser $installDir/elasticsearch

###sh +x $installDir/elasticsearch/bin/elasticsearch -Ecluster.name=my_cluster_name -Enode.name=my_node_name



function install_mvn(){

wget http://repos.fedorapeople.org/ ... .repo -O /etc/yum.repos.d/epel-apache-maven.repo

yum -y install apache-maven



}

function getik(){

ver="v5.2.2"

yum -y install git

git clone https://github.com/medcl/elasticsearch-analysis-ik

cd elasticsearch-analysis-ik

git checkout tags/$ver

mvn clean

mvn compile

mvn package

cd -



}

install_mvn

version=5.2.2

getik

mkdir $installDir/elasticsearch/plugins/ik

unzip elasticsearch-analysis-ik/target/releases/elasticsearch-analysis-ik-$version.zip -d $installDir/elasticsearch/plugins/ik

收起阅读 »

1. 23 Useful Elasticsearch Example Queries  http://t.cn/R9Sjxf5

ES作为全文检索引擎，最常用的查询都在这里了




2. All About Analyzers

Part 1: http://t.cn/R9SFtYd

Part 2: http://t.cn/R9SFxPZ

如何利用ES提供的tokenizer filter以及正则等组件定制自己的analyzer，这篇文章给出了方向。




3. Elasticsearch Security: Authentication, Encryption, and Backup http://t.cn/R9SQJlK

安全问题永远不会过时，用这篇文章检查下你的ES集群是否有安全隐患




编辑：bsll

归档：https://elasticsearch.cn/article/213

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

岗位职责（工作内容）

• 负责数据分析产品全栈式开发；
• 指导开发人员工作，提升团队整体的技术能力；
• 学习研究业界前沿技术，并迅速转化为项目生产力。

任职资格、技能和经验

• 全栈开发能力，熟悉JS/CSS/Html，Node.js等；
• 前端开发能力优秀者优先；
• 具有数据分析类产品设计或研发经验技术优先；
• 注重代码质量，能高效编写优雅的代码；
• 思路清晰，善于思考，能独立分析和解决问题，责任心强，具备良好的团队合作精神和承受压力的能力；
• 具备广泛的技术视野和很强的技术前瞻性。

 
工作地点北京、杭州，薪资待遇优厚，欢迎各位大神！
联系方式：wending.ywd@alibaba-inc.com 收起阅读 »

测试集合：模拟一亿条

0," nnrIuS","raet","lnsr","inu ","saia",83.405273,73.302012,3991,24,"N"," usA","airport","rra i"

1,"omlritp","aaVe","y Mu","AaVV","NMc ",15.459643,-20.826241,2627,54,"a","eemo","airport","MaArp"

2,"kyaneMr","iasm","raAA"," tnt","inls",16.606066,38.663728,2761,53,"o","arIi","airport","uiron"

BKD Tree 
https://www.elastic.co/blog/lucene-points-6.0
Block k-d trees are a simple yet powerful data structure. At index time, they are built by recursively partitioning the full space of N-dimensional points to be indexed into smaller and smaller rectangular cells, splitting equally along the widest ranging dimension at each step of the recursion. However, unlike an ordinary k-d tree, a block k-d tree stops recursing once there are fewer than a pre-specified (1024 in our case, by default) number of points in the cell.

At that point, all points within that cell are written into one leaf block on disk and the starting file-pointer for that block is saved into an in-heap binary tree structure. In the 1D case, this is simply a full sort of all values, divided into adjacent leaf blocks. There are k-d tree variants that can support removing values, and rebalancing, but Lucene does not need these operations because of its write-once per-segment design.
 
At search time, the same recursion takes place, testing at each level whether the requested query shape intersects the left or right sub-tree of each dimensional split, and recursing if so. In the 1D case, the query shape is simply a numeric range whereas in the 2D and 3D cases, it is a geo-spatial shape (circle, ring, rectangle, polygon, cube, etc.).

测试集合：模拟一亿条

0," nnrIuS","raet","lnsr","inu ","saia",83.405273,73.302012,3991,24,"N"," usA","airport","rra i"

1,"omlritp","aaVe","y Mu","AaVV","NMc ",15.459643,-20.826241,2627,54,"a","eemo","airport","MaArp"

2,"kyaneMr","iasm","raAA"," tnt","inls",16.606066,38.663728,2761,53,"o","arIi","airport","uiron"

1. General Multidimensional Space Points
   Search for points with exact given values. 
  Search for points which has one of the value from a given set of values. 
Search for points within a given range. 
Get the number of points which has exact point.
Get the number of points within a given range. (Ranges are multidimensional ranges. In 3D, they are boxes.)
Divide points into range-buckets and get the count in each buckets. (Range bucket is a range which has a label in it)
 
2. Locations on the planet surface. (Latitude, Longitude)
  Find closest set of airports to a given town.  
  Find the set of airports within a given radius from a particular town.
  Find the set of airports inside a country. (Country can be given as a polygon) 
  Find the set of airports within a given range of Latitudes and Longitudes. It is a Latitude, Longitude box query. (For a examples: Airports closer to the equatorial) 
  Find the set of airports closer to a given path. (Path can be something like a road. Find the airports which are less than 50km away from a given highway)
  Count the airports in each country by giving country maps as polygons.
 
search  result:
 
Loading Data is finished ----------------------------------------------------------------------
建索引花费时间：982ms
LatLon - Box Query Example------------------------------------------------------------------------------
search_LatLon_Box 花费时间：69ms

LatLon - K Nearest------------------------------------------------------------------------------
search_LatLon_Nearest 花费时间：108ms

DoublePoint 1D Point Exact------------------------------------------------------------------------------
search_Double_1D_Exact 花费时间：10ms

DoublePoint 1D - Range------------------------------------------------------------------------------
search_Double_1D_range 花费时间：8ms

DoublePoint 1D - Range Buckets -----------------------------------------------------------------------------
search_Double_1D_range_bucket 花费时间：58ms

DoublePoint multi dimensional - Range------------------------------------------------------------------------------
search_Double_MiltiDimensional_Range 花费时间：1ms
 
 
  收起阅读 »