Lucene 6 基于BKD Tree Index 的应用
BKD Tree
https://www.elastic.co/blog/lucene-points-6.0
Block k-d trees are a simple yet powerful data structure. At index time, they are built by recursively partitioning the full space of N-dimensional points to be indexed into smaller and smaller rectangular cells, splitting equally along the widest ranging dimension at each step of the recursion. However, unlike an ordinary k-d tree, a block k-d tree stops recursing once there are fewer than a pre-specified (1024 in our case, by default) number of points in the cell.
At that point, all points within that cell are written into one leaf block on disk and the starting file-pointer for that block is saved into an in-heap binary tree structure. In the 1D case, this is simply a full sort of all values, divided into adjacent leaf blocks. There are k-d tree variants that can support removing values, and rebalancing, but Lucene does not need these operations because of its write-once per-segment design.
At search time, the same recursion takes place, testing at each level whether the requested query shape intersects the left or right sub-tree of each dimensional split, and recursing if so. In the 1D case, the query shape is simply a numeric range whereas in the 2D and 3D cases, it is a geo-spatial shape (circle, ring, rectangle, polygon, cube, etc.).
1. General Multidimensional Space Points
Search for points with exact given values.
Search for points which has one of the value from a given set of values.
Search for points within a given range.
Get the number of points which has exact point.
Get the number of points within a given range. (Ranges are multidimensional ranges. In 3D, they are boxes.)
Divide points into range-buckets and get the count in each buckets. (Range bucket is a range which has a label in it)
2. Locations on the planet surface. (Latitude, Longitude)
Find closest set of airports to a given town.
Find the set of airports within a given radius from a particular town.
Find the set of airports inside a country. (Country can be given as a polygon)
Find the set of airports within a given range of Latitudes and Longitudes. It is a Latitude, Longitude box query. (For a examples: Airports closer to the equatorial)
Find the set of airports closer to a given path. (Path can be something like a road. Find the airports which are less than 50km away from a given highway)
Count the airports in each country by giving country maps as polygons.
search result:
Loading Data is finished ----------------------------------------------------------------------
建索引花费时间：982ms
LatLon - Box Query Example------------------------------------------------------------------------------
search_LatLon_Box 花费时间：69ms
LatLon - K Nearest------------------------------------------------------------------------------
search_LatLon_Nearest 花费时间：108ms
DoublePoint 1D Point Exact------------------------------------------------------------------------------
search_Double_1D_Exact 花费时间：10ms
DoublePoint 1D - Range------------------------------------------------------------------------------
search_Double_1D_range 花费时间：8ms
DoublePoint 1D - Range Buckets -----------------------------------------------------------------------------
search_Double_1D_range_bucket 花费时间：58ms
DoublePoint multi dimensional - Range------------------------------------------------------------------------------
search_Double_MiltiDimensional_Range 花费时间：1ms
继续阅读 »
https://www.elastic.co/blog/lucene-points-6.0
Block k-d trees are a simple yet powerful data structure. At index time, they are built by recursively partitioning the full space of N-dimensional points to be indexed into smaller and smaller rectangular cells, splitting equally along the widest ranging dimension at each step of the recursion. However, unlike an ordinary k-d tree, a block k-d tree stops recursing once there are fewer than a pre-specified (1024 in our case, by default) number of points in the cell.
At that point, all points within that cell are written into one leaf block on disk and the starting file-pointer for that block is saved into an in-heap binary tree structure. In the 1D case, this is simply a full sort of all values, divided into adjacent leaf blocks. There are k-d tree variants that can support removing values, and rebalancing, but Lucene does not need these operations because of its write-once per-segment design.
At search time, the same recursion takes place, testing at each level whether the requested query shape intersects the left or right sub-tree of each dimensional split, and recursing if so. In the 1D case, the query shape is simply a numeric range whereas in the 2D and 3D cases, it is a geo-spatial shape (circle, ring, rectangle, polygon, cube, etc.).
测试集合：模拟一亿条
0," nnrIuS","raet","lnsr","inu ","saia",83.405273,73.302012,3991,24,"N"," usA","airport","rra i"
1,"omlritp","aaVe","y Mu","AaVV","NMc ",15.459643,-20.826241,2627,54,"a","eemo","airport","MaArp"
2,"kyaneMr","iasm","raAA"," tnt","inls",16.606066,38.663728,2761,53,"o","arIi","airport","uiron"1. General Multidimensional Space Points
Search for points with exact given values.
Search for points which has one of the value from a given set of values.
Search for points within a given range.
Get the number of points which has exact point.
Get the number of points within a given range. (Ranges are multidimensional ranges. In 3D, they are boxes.)
Divide points into range-buckets and get the count in each buckets. (Range bucket is a range which has a label in it)
2. Locations on the planet surface. (Latitude, Longitude)
Find closest set of airports to a given town.
Find the set of airports within a given radius from a particular town.
Find the set of airports inside a country. (Country can be given as a polygon)
Find the set of airports within a given range of Latitudes and Longitudes. It is a Latitude, Longitude box query. (For a examples: Airports closer to the equatorial)
Find the set of airports closer to a given path. (Path can be something like a road. Find the airports which are less than 50km away from a given highway)
Count the airports in each country by giving country maps as polygons.
search result:
Loading Data is finished ----------------------------------------------------------------------
建索引花费时间：982ms
LatLon - Box Query Example------------------------------------------------------------------------------
search_LatLon_Box 花费时间：69ms
LatLon - K Nearest------------------------------------------------------------------------------
search_LatLon_Nearest 花费时间：108ms
DoublePoint 1D Point Exact------------------------------------------------------------------------------
search_Double_1D_Exact 花费时间：10ms
DoublePoint 1D - Range------------------------------------------------------------------------------
search_Double_1D_range 花费时间：8ms
DoublePoint 1D - Range Buckets -----------------------------------------------------------------------------
search_Double_1D_range_bucket 花费时间：58ms
DoublePoint multi dimensional - Range------------------------------------------------------------------------------
search_Double_MiltiDimensional_Range 花费时间：1ms
BKD Tree
https://www.elastic.co/blog/lucene-points-6.0
Block k-d trees are a simple yet powerful data structure. At index time, they are built by recursively partitioning the full space of N-dimensional points to be indexed into smaller and smaller rectangular cells, splitting equally along the widest ranging dimension at each step of the recursion. However, unlike an ordinary k-d tree, a block k-d tree stops recursing once there are fewer than a pre-specified (1024 in our case, by default) number of points in the cell.
At that point, all points within that cell are written into one leaf block on disk and the starting file-pointer for that block is saved into an in-heap binary tree structure. In the 1D case, this is simply a full sort of all values, divided into adjacent leaf blocks. There are k-d tree variants that can support removing values, and rebalancing, but Lucene does not need these operations because of its write-once per-segment design.
At search time, the same recursion takes place, testing at each level whether the requested query shape intersects the left or right sub-tree of each dimensional split, and recursing if so. In the 1D case, the query shape is simply a numeric range whereas in the 2D and 3D cases, it is a geo-spatial shape (circle, ring, rectangle, polygon, cube, etc.).
1. General Multidimensional Space Points
Search for points with exact given values.
Search for points which has one of the value from a given set of values.
Search for points within a given range.
Get the number of points which has exact point.
Get the number of points within a given range. (Ranges are multidimensional ranges. In 3D, they are boxes.)
Divide points into range-buckets and get the count in each buckets. (Range bucket is a range which has a label in it)
2. Locations on the planet surface. (Latitude, Longitude)
Find closest set of airports to a given town.
Find the set of airports within a given radius from a particular town.
Find the set of airports inside a country. (Country can be given as a polygon)
Find the set of airports within a given range of Latitudes and Longitudes. It is a Latitude, Longitude box query. (For a examples: Airports closer to the equatorial)
Find the set of airports closer to a given path. (Path can be something like a road. Find the airports which are less than 50km away from a given highway)
Count the airports in each country by giving country maps as polygons.
search result:
Loading Data is finished ----------------------------------------------------------------------
建索引花费时间：982ms
LatLon - Box Query Example------------------------------------------------------------------------------
search_LatLon_Box 花费时间：69ms
LatLon - K Nearest------------------------------------------------------------------------------
search_LatLon_Nearest 花费时间：108ms
DoublePoint 1D Point Exact------------------------------------------------------------------------------
search_Double_1D_Exact 花费时间：10ms
DoublePoint 1D - Range------------------------------------------------------------------------------
search_Double_1D_range 花费时间：8ms
DoublePoint 1D - Range Buckets -----------------------------------------------------------------------------
search_Double_1D_range_bucket 花费时间：58ms
DoublePoint multi dimensional - Range------------------------------------------------------------------------------
search_Double_MiltiDimensional_Range 花费时间：1ms
收起阅读 »
https://www.elastic.co/blog/lucene-points-6.0
Block k-d trees are a simple yet powerful data structure. At index time, they are built by recursively partitioning the full space of N-dimensional points to be indexed into smaller and smaller rectangular cells, splitting equally along the widest ranging dimension at each step of the recursion. However, unlike an ordinary k-d tree, a block k-d tree stops recursing once there are fewer than a pre-specified (1024 in our case, by default) number of points in the cell.
At that point, all points within that cell are written into one leaf block on disk and the starting file-pointer for that block is saved into an in-heap binary tree structure. In the 1D case, this is simply a full sort of all values, divided into adjacent leaf blocks. There are k-d tree variants that can support removing values, and rebalancing, but Lucene does not need these operations because of its write-once per-segment design.
At search time, the same recursion takes place, testing at each level whether the requested query shape intersects the left or right sub-tree of each dimensional split, and recursing if so. In the 1D case, the query shape is simply a numeric range whereas in the 2D and 3D cases, it is a geo-spatial shape (circle, ring, rectangle, polygon, cube, etc.).
测试集合：模拟一亿条
0," nnrIuS","raet","lnsr","inu ","saia",83.405273,73.302012,3991,24,"N"," usA","airport","rra i"
1,"omlritp","aaVe","y Mu","AaVV","NMc ",15.459643,-20.826241,2627,54,"a","eemo","airport","MaArp"
2,"kyaneMr","iasm","raAA"," tnt","inls",16.606066,38.663728,2761,53,"o","arIi","airport","uiron"1. General Multidimensional Space Points
Search for points with exact given values.
Search for points which has one of the value from a given set of values.
Search for points within a given range.
Get the number of points which has exact point.
Get the number of points within a given range. (Ranges are multidimensional ranges. In 3D, they are boxes.)
Divide points into range-buckets and get the count in each buckets. (Range bucket is a range which has a label in it)
2. Locations on the planet surface. (Latitude, Longitude)
Find closest set of airports to a given town.
Find the set of airports within a given radius from a particular town.
Find the set of airports inside a country. (Country can be given as a polygon)
Find the set of airports within a given range of Latitudes and Longitudes. It is a Latitude, Longitude box query. (For a examples: Airports closer to the equatorial)
Find the set of airports closer to a given path. (Path can be something like a road. Find the airports which are less than 50km away from a given highway)
Count the airports in each country by giving country maps as polygons.
search result:
Loading Data is finished ----------------------------------------------------------------------
建索引花费时间：982ms
LatLon - Box Query Example------------------------------------------------------------------------------
search_LatLon_Box 花费时间：69ms
LatLon - K Nearest------------------------------------------------------------------------------
search_LatLon_Nearest 花费时间：108ms
DoublePoint 1D Point Exact------------------------------------------------------------------------------
search_Double_1D_Exact 花费时间：10ms
DoublePoint 1D - Range------------------------------------------------------------------------------
search_Double_1D_range 花费时间：8ms
DoublePoint 1D - Range Buckets -----------------------------------------------------------------------------
search_Double_1D_range_bucket 花费时间：58ms
DoublePoint multi dimensional - Range------------------------------------------------------------------------------
search_Double_MiltiDimensional_Range 花费时间：1ms
收起阅读 »
keehang 发表于 : 2017-08-04 10:20
评论 (0)
社区日报 第6期 (2017-08-04)
1. X-Pack Alternatives http://t.cn/RaFzzv1
如果你看重了 elastic 付费套件 X-Pack 中的某个功能但又囊中羞涩，不妨来看看社区的其他选择方案。当然，还是推荐你去买 X-Pack ，官方出品，质有保障！
2.Elasticsearch as a Graph Database http://t.cn/R9Xgj2X
听说过图数据库吧？你知道 es 也可以在这个领域发挥能力吗？快来看看吧！请自备梯子哦！
3.Scaling Elasticsearch http://t.cn/R9Xev3r
听说你的es集群频繁GC，压力巨大，要扩容了？来看看这篇文章，科学扩容有保障！请自备梯子哦！
招聘：
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚。详情请看如下链接：https://elasticsearch.cn/article/209
编辑：rockybean
归档：https://elasticsearch.cn/article/210
订阅：https://tinyletter.com/elastic-daily
继续阅读 »
如果你看重了 elastic 付费套件 X-Pack 中的某个功能但又囊中羞涩，不妨来看看社区的其他选择方案。当然，还是推荐你去买 X-Pack ，官方出品，质有保障！
2.Elasticsearch as a Graph Database http://t.cn/R9Xgj2X
听说过图数据库吧？你知道 es 也可以在这个领域发挥能力吗？快来看看吧！请自备梯子哦！
3.Scaling Elasticsearch http://t.cn/R9Xev3r
听说你的es集群频繁GC，压力巨大，要扩容了？来看看这篇文章，科学扩容有保障！请自备梯子哦！
招聘：
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚。详情请看如下链接：https://elasticsearch.cn/article/209
编辑：rockybean
归档：https://elasticsearch.cn/article/210
订阅：https://tinyletter.com/elastic-daily
1. X-Pack Alternatives http://t.cn/RaFzzv1
如果你看重了 elastic 付费套件 X-Pack 中的某个功能但又囊中羞涩，不妨来看看社区的其他选择方案。当然，还是推荐你去买 X-Pack ，官方出品，质有保障！
2.Elasticsearch as a Graph Database http://t.cn/R9Xgj2X
听说过图数据库吧？你知道 es 也可以在这个领域发挥能力吗？快来看看吧！请自备梯子哦！
3.Scaling Elasticsearch http://t.cn/R9Xev3r
听说你的es集群频繁GC，压力巨大，要扩容了？来看看这篇文章，科学扩容有保障！请自备梯子哦！
招聘：
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚。详情请看如下链接：https://elasticsearch.cn/article/209
编辑：rockybean
归档：https://elasticsearch.cn/article/210
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
如果你看重了 elastic 付费套件 X-Pack 中的某个功能但又囊中羞涩，不妨来看看社区的其他选择方案。当然，还是推荐你去买 X-Pack ，官方出品，质有保障！
2.Elasticsearch as a Graph Database http://t.cn/R9Xgj2X
听说过图数据库吧？你知道 es 也可以在这个领域发挥能力吗？快来看看吧！请自备梯子哦！
3.Scaling Elasticsearch http://t.cn/R9Xev3r
听说你的es集群频繁GC，压力巨大，要扩容了？来看看这篇文章，科学扩容有保障！请自备梯子哦！
招聘：
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚。详情请看如下链接：https://elasticsearch.cn/article/209
编辑：rockybean
归档：https://elasticsearch.cn/article/210
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
【阿里巴巴】【急聘】高级搜索研发专家
岗位描述：
1. 负责阿里云上搜索云产品的设计和研发工作，确保项目质量和进度
2. 能深入理解产品和业务，推动技术不断升级，解决客户和平台问题。
岗位要求：
1. 编程基本功扎实，熟悉常用数据结构和算法，擅长Java编程语言，熟悉JVM机制，熟悉shell、python等脚本语言；
2. 学习能力较强，有较好的逻辑思维能力，较强的抽象、概括和总结能力，有较好的沟通交流能力，善于主动思考，对技术有强烈激情；
3. 熟悉ElasticSearch/Lucene开源系统
4. 熟悉分布式系统，例如hadoop、spark、flink，有云计算相关开发经验者优先
5. 具有敏捷开发经验者优先，具有完整产品生命周期开发者优先
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚，简历请发送至ruijie.guo@alibaba-inc.com
继续阅读 »
1. 负责阿里云上搜索云产品的设计和研发工作，确保项目质量和进度
2. 能深入理解产品和业务，推动技术不断升级，解决客户和平台问题。
岗位要求：
1. 编程基本功扎实，熟悉常用数据结构和算法，擅长Java编程语言，熟悉JVM机制，熟悉shell、python等脚本语言；
2. 学习能力较强，有较好的逻辑思维能力，较强的抽象、概括和总结能力，有较好的沟通交流能力，善于主动思考，对技术有强烈激情；
3. 熟悉ElasticSearch/Lucene开源系统
4. 熟悉分布式系统，例如hadoop、spark、flink，有云计算相关开发经验者优先
5. 具有敏捷开发经验者优先，具有完整产品生命周期开发者优先
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚，简历请发送至ruijie.guo@alibaba-inc.com
岗位描述：
1. 负责阿里云上搜索云产品的设计和研发工作，确保项目质量和进度
2. 能深入理解产品和业务，推动技术不断升级，解决客户和平台问题。
岗位要求：
1. 编程基本功扎实，熟悉常用数据结构和算法，擅长Java编程语言，熟悉JVM机制，熟悉shell、python等脚本语言；
2. 学习能力较强，有较好的逻辑思维能力，较强的抽象、概括和总结能力，有较好的沟通交流能力，善于主动思考，对技术有强烈激情；
3. 熟悉ElasticSearch/Lucene开源系统
4. 熟悉分布式系统，例如hadoop、spark、flink，有云计算相关开发经验者优先
5. 具有敏捷开发经验者优先，具有完整产品生命周期开发者优先
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚，简历请发送至ruijie.guo@alibaba-inc.com 收起阅读 »
1. 负责阿里云上搜索云产品的设计和研发工作，确保项目质量和进度
2. 能深入理解产品和业务，推动技术不断升级，解决客户和平台问题。
岗位要求：
1. 编程基本功扎实，熟悉常用数据结构和算法，擅长Java编程语言，熟悉JVM机制，熟悉shell、python等脚本语言；
2. 学习能力较强，有较好的逻辑思维能力，较强的抽象、概括和总结能力，有较好的沟通交流能力，善于主动思考，对技术有强烈激情；
3. 熟悉ElasticSearch/Lucene开源系统
4. 熟悉分布式系统，例如hadoop、spark、flink，有云计算相关开发经验者优先
5. 具有敏捷开发经验者优先，具有完整产品生命周期开发者优先
阿里云近期会推出ES云产品，正在组建ES专家小组，工作地点北京、杭州，薪资待遇优厚，简历请发送至ruijie.guo@alibaba-inc.com 收起阅读 »
社区日报 第5期 (2017-08-03)
1. 安全播报：超过5000个kibana实例裸奔在互联网 http://t.cn/R9JLxE9
你的kibana也在裸奔吗？戳这里
2. string类型已死，字符串永生 http://t.cn/R9xxGwq
还在疑惑ES5为什么移除了string类型？这里有你想要的答案。
3. 机器学习与日志分析 http://t.cn/R9xxJtU
不要被潮流淘汰：人工分析日志是徒劳的，机器学习是日志分析的趋势，玩转日志分析和机器学习。
4. 另类玩法：用Elasticsearch和Grafana分析你的GitHub项目 http://t.cn/R9xXkZE
想快速直观炫酷的了解自己的github project，这篇文章教你新姿势。
编辑：金桥
归档：https://elasticsearch.cn/article/207
订阅：https://tinyletter.com/elastic-daily
继续阅读 »
你的kibana也在裸奔吗？戳这里
2. string类型已死，字符串永生 http://t.cn/R9xxGwq
还在疑惑ES5为什么移除了string类型？这里有你想要的答案。
3. 机器学习与日志分析 http://t.cn/R9xxJtU
不要被潮流淘汰：人工分析日志是徒劳的，机器学习是日志分析的趋势，玩转日志分析和机器学习。
4. 另类玩法：用Elasticsearch和Grafana分析你的GitHub项目 http://t.cn/R9xXkZE
想快速直观炫酷的了解自己的github project，这篇文章教你新姿势。
编辑：金桥
归档：https://elasticsearch.cn/article/207
订阅：https://tinyletter.com/elastic-daily
1. 安全播报：超过5000个kibana实例裸奔在互联网 http://t.cn/R9JLxE9
你的kibana也在裸奔吗？戳这里
2. string类型已死，字符串永生 http://t.cn/R9xxGwq
还在疑惑ES5为什么移除了string类型？这里有你想要的答案。
3. 机器学习与日志分析 http://t.cn/R9xxJtU
不要被潮流淘汰：人工分析日志是徒劳的，机器学习是日志分析的趋势，玩转日志分析和机器学习。
4. 另类玩法：用Elasticsearch和Grafana分析你的GitHub项目 http://t.cn/R9xXkZE
想快速直观炫酷的了解自己的github project，这篇文章教你新姿势。
编辑：金桥
归档：https://elasticsearch.cn/article/207
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
你的kibana也在裸奔吗？戳这里
2. string类型已死，字符串永生 http://t.cn/R9xxGwq
还在疑惑ES5为什么移除了string类型？这里有你想要的答案。
3. 机器学习与日志分析 http://t.cn/R9xxJtU
不要被潮流淘汰：人工分析日志是徒劳的，机器学习是日志分析的趋势，玩转日志分析和机器学习。
4. 另类玩法：用Elasticsearch和Grafana分析你的GitHub项目 http://t.cn/R9xXkZE
想快速直观炫酷的了解自己的github project，这篇文章教你新姿势。
编辑：金桥
归档：https://elasticsearch.cn/article/207
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
超过5千以上的Kibana实例裸奔在互联网上，国内第二！
消息来自：https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在，所以搬过来大家一起看看，请自查自家服务器是不是快乐的在裸奔，嘿，要管管了啊。
试试：
https://www.zoomeye.org/search ... Dhost
https://www.shodan.io/search?query=kibana
Over 5,000 Kibana instances exposed on the internet
I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.
The query syntax that I used was the following: kibana port:”5601".
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).
Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html
去年的大规模勒索事件，大家应该还记得吧，什么，ES你也裸奔着，你。。。
继续阅读 »
因为这个网址不存在，所以搬过来大家一起看看，请自查自家服务器是不是快乐的在裸奔，嘿，要管管了啊。
试试：
https://www.zoomeye.org/search ... Dhost
https://www.shodan.io/search?query=kibana
Over 5,000 Kibana instances exposed on the internet
I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.
The query syntax that I used was the following: kibana port:”5601".
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).
Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html
去年的大规模勒索事件，大家应该还记得吧，什么，ES你也裸奔着，你。。。
消息来自：https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在，所以搬过来大家一起看看，请自查自家服务器是不是快乐的在裸奔，嘿，要管管了啊。
试试：
https://www.zoomeye.org/search ... Dhost
https://www.shodan.io/search?query=kibana
Over 5,000 Kibana instances exposed on the internet
I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.
The query syntax that I used was the following: kibana port:”5601".
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).
Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html
去年的大规模勒索事件，大家应该还记得吧，什么，ES你也裸奔着，你。。。
收起阅读 »
因为这个网址不存在，所以搬过来大家一起看看，请自查自家服务器是不是快乐的在裸奔，嘿，要管管了啊。
试试：
https://www.zoomeye.org/search ... Dhost
https://www.shodan.io/search?query=kibana
Over 5,000 Kibana instances exposed on the internet
I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.
The query syntax that I used was the following: kibana port:”5601".
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).
Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html
去年的大规模勒索事件，大家应该还记得吧，什么，ES你也裸奔着，你。。。
收起阅读 »
社区日报 第4期 (2017-08-02)
1. ELK 与 Raspberry Pi 的另类极客玩法 http://t.cn/R9MLk7E
只要你有一个树莓派， 就可以轻松打造一个跑在“云”上的便携式 ELK 集群。
2. Elasticsearch 安全 Search Guard 落地实践 http://t.cn/R9ZeqNp
Search Guard 是一款 Elasticsearch 比较通用且方便的认证插件，这篇文章主要讲解了如何快速接入 Search Guard 插件。
3. Docker Logging with the ELK Stack
Part 1 http://t.cn/R9MUnJS
Part 2 http://t.cn/R9M4UNz
关于 Docker 日志的采集应该是 ELK 应用最广泛的一面，具体的一些细节可以参考上述文档。该文档共有两部分。
编辑：江水
归档：https://elasticsearch.cn/article/205
订阅：https://tinyletter.com/elastic-daily
继续阅读 »
只要你有一个树莓派， 就可以轻松打造一个跑在“云”上的便携式 ELK 集群。
2. Elasticsearch 安全 Search Guard 落地实践 http://t.cn/R9ZeqNp
Search Guard 是一款 Elasticsearch 比较通用且方便的认证插件，这篇文章主要讲解了如何快速接入 Search Guard 插件。
3. Docker Logging with the ELK Stack
Part 1 http://t.cn/R9MUnJS
Part 2 http://t.cn/R9M4UNz
关于 Docker 日志的采集应该是 ELK 应用最广泛的一面，具体的一些细节可以参考上述文档。该文档共有两部分。
编辑：江水
归档：https://elasticsearch.cn/article/205
订阅：https://tinyletter.com/elastic-daily
1. ELK 与 Raspberry Pi 的另类极客玩法 http://t.cn/R9MLk7E
只要你有一个树莓派， 就可以轻松打造一个跑在“云”上的便携式 ELK 集群。
2. Elasticsearch 安全 Search Guard 落地实践 http://t.cn/R9ZeqNp
Search Guard 是一款 Elasticsearch 比较通用且方便的认证插件，这篇文章主要讲解了如何快速接入 Search Guard 插件。
3. Docker Logging with the ELK Stack
Part 1 http://t.cn/R9MUnJS
Part 2 http://t.cn/R9M4UNz
关于 Docker 日志的采集应该是 ELK 应用最广泛的一面，具体的一些细节可以参考上述文档。该文档共有两部分。
编辑：江水
归档：https://elasticsearch.cn/article/205
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
只要你有一个树莓派， 就可以轻松打造一个跑在“云”上的便携式 ELK 集群。
2. Elasticsearch 安全 Search Guard 落地实践 http://t.cn/R9ZeqNp
Search Guard 是一款 Elasticsearch 比较通用且方便的认证插件，这篇文章主要讲解了如何快速接入 Search Guard 插件。
3. Docker Logging with the ELK Stack
Part 1 http://t.cn/R9MUnJS
Part 2 http://t.cn/R9M4UNz
关于 Docker 日志的采集应该是 ELK 应用最广泛的一面，具体的一些细节可以参考上述文档。该文档共有两部分。
编辑：江水
归档：https://elasticsearch.cn/article/205
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
社区日报 第3期 (2017-08-01)
1. Elasticsearch 6.0 将严格校验 Content-Type http://t.cn/R9VmPqx
大家知道 Elasticsearch 是 HTTP+Restfu 风格的，在 5.x 及以前的版本，Content-Type 一直是松散不校验的，从而存在跨站脚本攻击的可能，所以从 6.0 开始，所有带请求体的 HTTP 请求都需要带上正确的 Content-type 才能正常执行，同时也意味着你的客户端是不是需要更新或者升级了，另外 6.0 马上就要发布了哦。
2. Elasticsearch: How to avoid index throttling, deep dive in segments merging http://t.cn/R9V1sZH
Segment 的合并会严重影响 Elasticsearch 的性能，但你知道 Elasticsearch 什么时候会进行合并么？这篇文章从源码层面比较详细的介绍了 Elasticsearch 内部的 Segment 合并策略，感兴趣的同学可以仔细读一下。
3. Making your search not suck with Elasticsearch http://t.cn/R9Vg1SO
系列文章，主要介绍文本分析原理以及如何优化 Elasticsearch 的相关性评分，完善搜索结果。
4.极客邦科技发布站内搜索（InfoQ） http://t.cn/R9Vru3R
Powered by Elasticsearch！看起来不错哦，虽然目前功能还比较简单。
如果您有基于 Elasticsearch 实现的酷站，也欢迎投稿哦。
今天是八一建军节，解放军同志们辛苦了！
编辑：Medcl
归档：https://elasticsearch.cn/article/203
订阅：https://tinyletter.com/elastic-daily
继续阅读 »
大家知道 Elasticsearch 是 HTTP+Restfu 风格的，在 5.x 及以前的版本，Content-Type 一直是松散不校验的，从而存在跨站脚本攻击的可能，所以从 6.0 开始，所有带请求体的 HTTP 请求都需要带上正确的 Content-type 才能正常执行，同时也意味着你的客户端是不是需要更新或者升级了，另外 6.0 马上就要发布了哦。
2. Elasticsearch: How to avoid index throttling, deep dive in segments merging http://t.cn/R9V1sZH
Segment 的合并会严重影响 Elasticsearch 的性能，但你知道 Elasticsearch 什么时候会进行合并么？这篇文章从源码层面比较详细的介绍了 Elasticsearch 内部的 Segment 合并策略，感兴趣的同学可以仔细读一下。
3. Making your search not suck with Elasticsearch http://t.cn/R9Vg1SO
系列文章，主要介绍文本分析原理以及如何优化 Elasticsearch 的相关性评分，完善搜索结果。
4.极客邦科技发布站内搜索（InfoQ） http://t.cn/R9Vru3R
Powered by Elasticsearch！看起来不错哦，虽然目前功能还比较简单。
如果您有基于 Elasticsearch 实现的酷站，也欢迎投稿哦。
今天是八一建军节，解放军同志们辛苦了！
编辑：Medcl
归档：https://elasticsearch.cn/article/203
订阅：https://tinyletter.com/elastic-daily
1. Elasticsearch 6.0 将严格校验 Content-Type http://t.cn/R9VmPqx
大家知道 Elasticsearch 是 HTTP+Restfu 风格的，在 5.x 及以前的版本，Content-Type 一直是松散不校验的，从而存在跨站脚本攻击的可能，所以从 6.0 开始，所有带请求体的 HTTP 请求都需要带上正确的 Content-type 才能正常执行，同时也意味着你的客户端是不是需要更新或者升级了，另外 6.0 马上就要发布了哦。
2. Elasticsearch: How to avoid index throttling, deep dive in segments merging http://t.cn/R9V1sZH
Segment 的合并会严重影响 Elasticsearch 的性能，但你知道 Elasticsearch 什么时候会进行合并么？这篇文章从源码层面比较详细的介绍了 Elasticsearch 内部的 Segment 合并策略，感兴趣的同学可以仔细读一下。
3. Making your search not suck with Elasticsearch http://t.cn/R9Vg1SO
系列文章，主要介绍文本分析原理以及如何优化 Elasticsearch 的相关性评分，完善搜索结果。
4.极客邦科技发布站内搜索（InfoQ） http://t.cn/R9Vru3R
Powered by Elasticsearch！看起来不错哦，虽然目前功能还比较简单。
如果您有基于 Elasticsearch 实现的酷站，也欢迎投稿哦。
今天是八一建军节，解放军同志们辛苦了！
编辑：Medcl
归档：https://elasticsearch.cn/article/203
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
大家知道 Elasticsearch 是 HTTP+Restfu 风格的，在 5.x 及以前的版本，Content-Type 一直是松散不校验的，从而存在跨站脚本攻击的可能，所以从 6.0 开始，所有带请求体的 HTTP 请求都需要带上正确的 Content-type 才能正常执行，同时也意味着你的客户端是不是需要更新或者升级了，另外 6.0 马上就要发布了哦。
2. Elasticsearch: How to avoid index throttling, deep dive in segments merging http://t.cn/R9V1sZH
Segment 的合并会严重影响 Elasticsearch 的性能，但你知道 Elasticsearch 什么时候会进行合并么？这篇文章从源码层面比较详细的介绍了 Elasticsearch 内部的 Segment 合并策略，感兴趣的同学可以仔细读一下。
3. Making your search not suck with Elasticsearch http://t.cn/R9Vg1SO
系列文章，主要介绍文本分析原理以及如何优化 Elasticsearch 的相关性评分，完善搜索结果。
4.极客邦科技发布站内搜索（InfoQ） http://t.cn/R9Vru3R
Powered by Elasticsearch！看起来不错哦，虽然目前功能还比较简单。
如果您有基于 Elasticsearch 实现的酷站，也欢迎投稿哦。
今天是八一建军节，解放军同志们辛苦了！
编辑：Medcl
归档：https://elasticsearch.cn/article/203
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
社区日报 第2期 (2017-07-31)
1. Logstash Persistent Queue http://t.cn/R9ctBCQ
Logstash 5.x 新加入了持久化队列功能，想要了解的同学不妨看看官网的这篇介绍哦！
2. 在Elasticsearch中应用机器学习排序LTR http://t.cn/RX2AVnS
相信不少同学在开发中遇到过修改排序结果的需求，常见的操作是使用function_score 来自定义排序分值，但要做到个性化搜索的话，往往离不开数据挖掘、机器学习的算法，那么如何整合这些算法到Elasticsearch中呢？该文提供了一个思路，推荐阅读，开阔视野！
3.用ElasticSearch搭建自己的搜索和分析引擎 http://t.cn/R9can85
来看下腾讯WeTest团队是如何调研和测试 Elasticsearch的，文章中提到的论坛统计分析功能是一个常见的需求，推荐大家阅读并实践！
4.X-Pack Machine Learning Online Training http://t.cn/R9c6vnt
价值 $400 的 elastic 机器学习在线教程免费啦！免费啦！免费啦！还不赶紧去注册！
编辑：rockybean
归档：https://elasticsearch.cn/article/202
订阅：https://tinyletter.com/elastic-daily
继续阅读 »
Logstash 5.x 新加入了持久化队列功能，想要了解的同学不妨看看官网的这篇介绍哦！
2. 在Elasticsearch中应用机器学习排序LTR http://t.cn/RX2AVnS
相信不少同学在开发中遇到过修改排序结果的需求，常见的操作是使用function_score 来自定义排序分值，但要做到个性化搜索的话，往往离不开数据挖掘、机器学习的算法，那么如何整合这些算法到Elasticsearch中呢？该文提供了一个思路，推荐阅读，开阔视野！
3.用ElasticSearch搭建自己的搜索和分析引擎 http://t.cn/R9can85
来看下腾讯WeTest团队是如何调研和测试 Elasticsearch的，文章中提到的论坛统计分析功能是一个常见的需求，推荐大家阅读并实践！
4.X-Pack Machine Learning Online Training http://t.cn/R9c6vnt
价值 $400 的 elastic 机器学习在线教程免费啦！免费啦！免费啦！还不赶紧去注册！
编辑：rockybean
归档：https://elasticsearch.cn/article/202
订阅：https://tinyletter.com/elastic-daily
1. Logstash Persistent Queue http://t.cn/R9ctBCQ
Logstash 5.x 新加入了持久化队列功能，想要了解的同学不妨看看官网的这篇介绍哦！
2. 在Elasticsearch中应用机器学习排序LTR http://t.cn/RX2AVnS
相信不少同学在开发中遇到过修改排序结果的需求，常见的操作是使用function_score 来自定义排序分值，但要做到个性化搜索的话，往往离不开数据挖掘、机器学习的算法，那么如何整合这些算法到Elasticsearch中呢？该文提供了一个思路，推荐阅读，开阔视野！
3.用ElasticSearch搭建自己的搜索和分析引擎 http://t.cn/R9can85
来看下腾讯WeTest团队是如何调研和测试 Elasticsearch的，文章中提到的论坛统计分析功能是一个常见的需求，推荐大家阅读并实践！
4.X-Pack Machine Learning Online Training http://t.cn/R9c6vnt
价值 $400 的 elastic 机器学习在线教程免费啦！免费啦！免费啦！还不赶紧去注册！
编辑：rockybean
归档：https://elasticsearch.cn/article/202
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
Logstash 5.x 新加入了持久化队列功能，想要了解的同学不妨看看官网的这篇介绍哦！
2. 在Elasticsearch中应用机器学习排序LTR http://t.cn/RX2AVnS
相信不少同学在开发中遇到过修改排序结果的需求，常见的操作是使用function_score 来自定义排序分值，但要做到个性化搜索的话，往往离不开数据挖掘、机器学习的算法，那么如何整合这些算法到Elasticsearch中呢？该文提供了一个思路，推荐阅读，开阔视野！
3.用ElasticSearch搭建自己的搜索和分析引擎 http://t.cn/R9can85
来看下腾讯WeTest团队是如何调研和测试 Elasticsearch的，文章中提到的论坛统计分析功能是一个常见的需求，推荐大家阅读并实践！
4.X-Pack Machine Learning Online Training http://t.cn/R9c6vnt
价值 $400 的 elastic 机器学习在线教程免费啦！免费啦！免费啦！还不赶紧去注册！
编辑：rockybean
归档：https://elasticsearch.cn/article/202
订阅：https://tinyletter.com/elastic-daily 收起阅读 »
社区日报 第1期 (2017-07-30)
1. A Practical Introduction to Elasticsearch http://t.cn/R9tzos1
通过实际案例介绍Elasticsearch，作为入门教程还是不错的，推荐新手阅读！
2. Elasticsearch 5.0 General Performance Recommendations http://t.cn/R9tz3Vc
关注性能的同学有福了，来看看qbox工程师对于 5.0 调优的建议，干货满满，不要错过哦！
3. Filebeat vs. Logstash — The Evolution of a Log Shipper http://t.cn/R9tZBFq
相信不少同学对于 Beats 和 Logstash的定位有疑惑，不妨看下这篇文章！
编辑：rockybean
归档：https://elasticsearch.cn/article/201
订阅：https://tinyletter.com/elastic-daily
继续阅读 »
通过实际案例介绍Elasticsearch，作为入门教程还是不错的，推荐新手阅读！
2. Elasticsearch 5.0 General Performance Recommendations http://t.cn/R9tz3Vc
关注性能的同学有福了，来看看qbox工程师对于 5.0 调优的建议，干货满满，不要错过哦！
3. Filebeat vs. Logstash — The Evolution of a Log Shipper http://t.cn/R9tZBFq
相信不少同学对于 Beats 和 Logstash的定位有疑惑，不妨看下这篇文章！
编辑：rockybean
归档：https://elasticsearch.cn/article/201
订阅：https://tinyletter.com/elastic-daily
1. A Practical Introduction to Elasticsearch http://t.cn/R9tzos1
通过实际案例介绍Elasticsearch，作为入门教程还是不错的，推荐新手阅读！
2. Elasticsearch 5.0 General Performance Recommendations http://t.cn/R9tz3Vc
关注性能的同学有福了，来看看qbox工程师对于 5.0 调优的建议，干货满满，不要错过哦！
3. Filebeat vs. Logstash — The Evolution of a Log Shipper http://t.cn/R9tZBFq
相信不少同学对于 Beats 和 Logstash的定位有疑惑，不妨看下这篇文章！
编辑：rockybean
归档：https://elasticsearch.cn/article/201
订阅：https://tinyletter.com/elastic-daily
收起阅读 »
通过实际案例介绍Elasticsearch，作为入门教程还是不错的，推荐新手阅读！
2. Elasticsearch 5.0 General Performance Recommendations http://t.cn/R9tz3Vc
关注性能的同学有福了，来看看qbox工程师对于 5.0 调优的建议，干货满满，不要错过哦！
3. Filebeat vs. Logstash — The Evolution of a Log Shipper http://t.cn/R9tZBFq
相信不少同学对于 Beats 和 Logstash的定位有疑惑，不妨看下这篇文章！
编辑：rockybean
归档：https://elasticsearch.cn/article/201
订阅：https://tinyletter.com/elastic-daily
收起阅读 »
[招聘] ?Elastic 邀您一起共创开源事业 ❄️
想不想去最棒的开源软件公司工作？
想不想不用朝9晚5浪费大量时间在路上，在家就能办公？
想不想让您的代码运行在成千上万台服务器上面，拯救世界？
想不想工作与生活的完美结合，做自己感兴趣的事情？
... ...
那考虑来Elastic吧，与全球顶尖工程师一起合作，福利待遇从优，一年至少2次出国机会。
基本要求：
- 英语流利沟通
- 掌握现代开发技术
- 贡献过Elastic相关开源项目者优先
下面是热招职位，位置不限，We are Distributed!
- 社区技术布道师
- 技术支持工程师
- 技术顾问
- 业务架构师
- Elasticsearch - Java Engineer - Search
- Elasticsearch - Java Engineer - Security
- Elasticsearch - Java Performance Engineer
- Elasticsearch - Senior Java Engineer (Core Team)
- Beats - Golang Engineer
- Logstash - Ruby Engineer
- Kibana - Platform JavaScript Engineer (Node.js)
- Kibana - Senior JavaScript Engineer
- Kibana - Visualisations & Vega Engineer
- UI Engineer - Design
- SecOps - JavaScript Engineer
- SRE- Infrastructure - Site Reliability Engineer
- InfoSec - Sr. Security Engineer
除了上面这些，还有很多其他市场商务类职务，
查看 Elastic 全部在招职位信息，点击这里！
关于 Elastic
Elastic 致力于构建大规模实时数据处理软件，场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年，旗下拥有产品：开源的 Elastic Stack（Elasticsearch、Kibana、Beats 和 Logstash）、 X-Pack （商业特性）和 Elastic Cloud （一个 SaaS 服务）。迄今为止，这些产品的累积下载次数已超过 3.5 亿。
成千上万的企业包括思科、易趣、高盛、美国宇航局、微软、梅约诊所、纽约时报、维基百科以及微讯通信等都在使用 Elastic 来助力其关键业务应用。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，投资额超过 1 亿美金。Elastic 拥有超过 1000 位员工，分布于世界上 30 多个国家和地区。了解更多请访问： elastic.co 。
想不想去最棒的开源软件公司工作？
想不想不用朝9晚5浪费大量时间在路上，在家就能办公？
想不想让您的代码运行在成千上万台服务器上面，拯救世界？
想不想工作与生活的完美结合，做自己感兴趣的事情？
... ...
那考虑来Elastic吧，与全球顶尖工程师一起合作，福利待遇从优，一年至少2次出国机会。
基本要求：
- 英语流利沟通
- 掌握现代开发技术
- 贡献过Elastic相关开源项目者优先
下面是热招职位，位置不限，We are Distributed!
- 社区技术布道师
- 技术支持工程师
- 技术顾问
- 业务架构师
- Elasticsearch - Java Engineer - Search
- Elasticsearch - Java Engineer - Security
- Elasticsearch - Java Performance Engineer
- Elasticsearch - Senior Java Engineer (Core Team)
- Beats - Golang Engineer
- Logstash - Ruby Engineer
- Kibana - Platform JavaScript Engineer (Node.js)
- Kibana - Senior JavaScript Engineer
- Kibana - Visualisations & Vega Engineer
- UI Engineer - Design
- SecOps - JavaScript Engineer
- SRE- Infrastructure - Site Reliability Engineer
- InfoSec - Sr. Security Engineer
除了上面这些，还有很多其他市场商务类职务，
查看 Elastic 全部在招职位信息，点击这里！
关于 Elastic
Elastic 致力于构建大规模实时数据处理软件，场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年，旗下拥有产品：开源的 Elastic Stack（Elasticsearch、Kibana、Beats 和 Logstash）、 X-Pack （商业特性）和 Elastic Cloud （一个 SaaS 服务）。迄今为止，这些产品的累积下载次数已超过 3.5 亿。
成千上万的企业包括思科、易趣、高盛、美国宇航局、微软、梅约诊所、纽约时报、维基百科以及微讯通信等都在使用 Elastic 来助力其关键业务应用。
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，投资额超过 1 亿美金。Elastic 拥有超过 1000 位员工，分布于世界上 30 多个国家和地区。了解更多请访问： elastic.co 。 收起阅读 »
【急聘】搜索推荐系统研发工程师 12-20K
岗位职责：
1，负责个性化推荐系统的算法和架构研发, 实现在相关产品中的精准推荐；
2，负责产品、内容的推荐与其他场景的基础数据挖掘；
3，根据海量用户行为的分析和挖掘，构建用户画像、标签系统等。
任职要求：
1、两年以上相关工作经验；
2、有推荐系统或搜索排序研发经验, 熟悉常用的推荐算法，有实际算法调优经验；
3、熟悉Hadoop、HBase、Spark、Kafka等计算平台和工具；
4、掌握自然语言处理、协同推荐算法方面的基本知识；
5、良好的沟通和学习能力，团队合作精神，能独立承担工作。
加分项：
1，有大规模海量数据机器学习、数据挖掘、计算广告、搜索引擎相关经验；
2，有互联网电商行业数据经验。
易所试集团（Www.liketry.com），新三板上市公司，市值10亿左右，组建北京研发中心，13薪起，正常基数五险一金并提供商业保险（补充医疗+意外等），10天年假起，弹性工作制，薪资可根据能力商议。工作地点：北京望京SOHO，简历请发送至邮箱：hang.song@liketry.com。
继续阅读 »
1，负责个性化推荐系统的算法和架构研发, 实现在相关产品中的精准推荐；
2，负责产品、内容的推荐与其他场景的基础数据挖掘；
3，根据海量用户行为的分析和挖掘，构建用户画像、标签系统等。
任职要求：
1、两年以上相关工作经验；
2、有推荐系统或搜索排序研发经验, 熟悉常用的推荐算法，有实际算法调优经验；
3、熟悉Hadoop、HBase、Spark、Kafka等计算平台和工具；
4、掌握自然语言处理、协同推荐算法方面的基本知识；
5、良好的沟通和学习能力，团队合作精神，能独立承担工作。
加分项：
1，有大规模海量数据机器学习、数据挖掘、计算广告、搜索引擎相关经验；
2，有互联网电商行业数据经验。
易所试集团（Www.liketry.com），新三板上市公司，市值10亿左右，组建北京研发中心，13薪起，正常基数五险一金并提供商业保险（补充医疗+意外等），10天年假起，弹性工作制，薪资可根据能力商议。工作地点：北京望京SOHO，简历请发送至邮箱：hang.song@liketry.com。
岗位职责：
1，负责个性化推荐系统的算法和架构研发, 实现在相关产品中的精准推荐；
2，负责产品、内容的推荐与其他场景的基础数据挖掘；
3，根据海量用户行为的分析和挖掘，构建用户画像、标签系统等。
任职要求：
1、两年以上相关工作经验；
2、有推荐系统或搜索排序研发经验, 熟悉常用的推荐算法，有实际算法调优经验；
3、熟悉Hadoop、HBase、Spark、Kafka等计算平台和工具；
4、掌握自然语言处理、协同推荐算法方面的基本知识；
5、良好的沟通和学习能力，团队合作精神，能独立承担工作。
加分项：
1，有大规模海量数据机器学习、数据挖掘、计算广告、搜索引擎相关经验；
2，有互联网电商行业数据经验。
易所试集团（Www.liketry.com），新三板上市公司，市值10亿左右，组建北京研发中心，13薪起，正常基数五险一金并提供商业保险（补充医疗+意外等），10天年假起，弹性工作制，薪资可根据能力商议。工作地点：北京望京SOHO，简历请发送至邮箱：hang.song@liketry.com。 收起阅读 »
1，负责个性化推荐系统的算法和架构研发, 实现在相关产品中的精准推荐；
2，负责产品、内容的推荐与其他场景的基础数据挖掘；
3，根据海量用户行为的分析和挖掘，构建用户画像、标签系统等。
任职要求：
1、两年以上相关工作经验；
2、有推荐系统或搜索排序研发经验, 熟悉常用的推荐算法，有实际算法调优经验；
3、熟悉Hadoop、HBase、Spark、Kafka等计算平台和工具；
4、掌握自然语言处理、协同推荐算法方面的基本知识；
5、良好的沟通和学习能力，团队合作精神，能独立承担工作。
加分项：
1，有大规模海量数据机器学习、数据挖掘、计算广告、搜索引擎相关经验；
2，有互联网电商行业数据经验。
易所试集团（Www.liketry.com），新三板上市公司，市值10亿左右，组建北京研发中心，13薪起，正常基数五险一金并提供商业保险（补充医疗+意外等），10天年假起，弹性工作制，薪资可根据能力商议。工作地点：北京望京SOHO，简历请发送至邮箱：hang.song@liketry.com。 收起阅读 »
【携程招聘】高级搜索研发工程师
岗位职责：
负责参与搜索业务的系统架构及研发，对现有搜索业务系统进行改进和优化
1．负责搜索服务端的开发工作；
2． 负责分词，索引和查询的算法优化；
3．研究数据的存储、传输，优化系统架构，不断提升系统时效性、灵活性及性能；
4． 对代码和设计质量有严格要求，重视Code Review，知道良好编程习惯的标准；
5． 参与搜索系统分布式架构设计，研究分布式信息检索的服务架构，分析和修改相关性算法、策略，构建高性能，灵活易调研的分布式检索系统。
任职要求：
1. 计算机或相关专业本科及以上学历，2年以上搜索引擎相关的研发经验；
2. 有自然语言处理、相关性算法、rerank等经验者或数据挖掘实践经验者优先；
3. 深刻理解企业应用设计模式，有大型分布式，高并发，高负载，高可用性系统设计开发经验；
4. 有扎实的Java基础(熟悉io、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制） ；
5. 熟悉Elasticsearch 对分布式搜索有一定实战经验；
6. 对互联网产品敏感，学习能力强
7. 熟悉数理统计和机器学习的基础理论，并有一定的实战经验者优先（可选）；
8. 熟悉常见机器学习排序方法，如：GBDT、LTR或随机森林，熟悉特征处理方法者优先（可选）；
薪酬范围:
10k - 20k /月 + 年终奖
有意者邮件联系: ckjiang@ctrip.com
继续阅读 »
负责参与搜索业务的系统架构及研发，对现有搜索业务系统进行改进和优化
1．负责搜索服务端的开发工作；
2． 负责分词，索引和查询的算法优化；
3．研究数据的存储、传输，优化系统架构，不断提升系统时效性、灵活性及性能；
4． 对代码和设计质量有严格要求，重视Code Review，知道良好编程习惯的标准；
5． 参与搜索系统分布式架构设计，研究分布式信息检索的服务架构，分析和修改相关性算法、策略，构建高性能，灵活易调研的分布式检索系统。
任职要求：
1. 计算机或相关专业本科及以上学历，2年以上搜索引擎相关的研发经验；
2. 有自然语言处理、相关性算法、rerank等经验者或数据挖掘实践经验者优先；
3. 深刻理解企业应用设计模式，有大型分布式，高并发，高负载，高可用性系统设计开发经验；
4. 有扎实的Java基础(熟悉io、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制） ；
5. 熟悉Elasticsearch 对分布式搜索有一定实战经验；
6. 对互联网产品敏感，学习能力强
7. 熟悉数理统计和机器学习的基础理论，并有一定的实战经验者优先（可选）；
8. 熟悉常见机器学习排序方法，如：GBDT、LTR或随机森林，熟悉特征处理方法者优先（可选）；
薪酬范围:
10k - 20k /月 + 年终奖
有意者邮件联系: ckjiang@ctrip.com
岗位职责：
负责参与搜索业务的系统架构及研发，对现有搜索业务系统进行改进和优化
1．负责搜索服务端的开发工作；
2． 负责分词，索引和查询的算法优化；
3．研究数据的存储、传输，优化系统架构，不断提升系统时效性、灵活性及性能；
4． 对代码和设计质量有严格要求，重视Code Review，知道良好编程习惯的标准；
5． 参与搜索系统分布式架构设计，研究分布式信息检索的服务架构，分析和修改相关性算法、策略，构建高性能，灵活易调研的分布式检索系统。
任职要求：
1. 计算机或相关专业本科及以上学历，2年以上搜索引擎相关的研发经验；
2. 有自然语言处理、相关性算法、rerank等经验者或数据挖掘实践经验者优先；
3. 深刻理解企业应用设计模式，有大型分布式，高并发，高负载，高可用性系统设计开发经验；
4. 有扎实的Java基础(熟悉io、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制） ；
5. 熟悉Elasticsearch 对分布式搜索有一定实战经验；
6. 对互联网产品敏感，学习能力强
7. 熟悉数理统计和机器学习的基础理论，并有一定的实战经验者优先（可选）；
8. 熟悉常见机器学习排序方法，如：GBDT、LTR或随机森林，熟悉特征处理方法者优先（可选）；
薪酬范围:
10k - 20k /月 + 年终奖
有意者邮件联系: ckjiang@ctrip.com 收起阅读 »
负责参与搜索业务的系统架构及研发，对现有搜索业务系统进行改进和优化
1．负责搜索服务端的开发工作；
2． 负责分词，索引和查询的算法优化；
3．研究数据的存储、传输，优化系统架构，不断提升系统时效性、灵活性及性能；
4． 对代码和设计质量有严格要求，重视Code Review，知道良好编程习惯的标准；
5． 参与搜索系统分布式架构设计，研究分布式信息检索的服务架构，分析和修改相关性算法、策略，构建高性能，灵活易调研的分布式检索系统。
任职要求：
1. 计算机或相关专业本科及以上学历，2年以上搜索引擎相关的研发经验；
2. 有自然语言处理、相关性算法、rerank等经验者或数据挖掘实践经验者优先；
3. 深刻理解企业应用设计模式，有大型分布式，高并发，高负载，高可用性系统设计开发经验；
4. 有扎实的Java基础(熟悉io、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制） ；
5. 熟悉Elasticsearch 对分布式搜索有一定实战经验；
6. 对互联网产品敏感，学习能力强
7. 熟悉数理统计和机器学习的基础理论，并有一定的实战经验者优先（可选）；
8. 熟悉常见机器学习排序方法，如：GBDT、LTR或随机森林，熟悉特征处理方法者优先（可选）；
薪酬范围:
10k - 20k /月 + 年终奖
有意者邮件联系: ckjiang@ctrip.com 收起阅读 »
es中的jdbc，如何使用多次的lastexecutionstart.
在jdbc中，如果需要多少使用到时间的值。如果使用lastexecutionstart，分了两次查询，time不一致。对于初始化和热更新都不一致。例如：
sql : [
{ "statement" : "select * from table1 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] },
{ "statement" : "select * from table2 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] }
],
继续阅读 »
sql : [
{ "statement" : "select * from table1 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] },
{ "statement" : "select * from table2 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] }
],
在jdbc中，如果需要多少使用到时间的值。如果使用lastexecutionstart，分了两次查询，time不一致。对于初始化和热更新都不一致。例如：
sql : [
{ "statement" : "select * from table1 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] },
{ "statement" : "select * from table2 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] }
], 收起阅读 »
sql : [
{ "statement" : "select * from table1 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] },
{ "statement" : "select * from table2 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] }
], 收起阅读 »
［热招］饿了么搜索推荐研发部招聘信息
饿了么搜索推荐研发部现热招搜索相关人才
投递方式：wei.chen04@ele.me
QQ：2908368828
岗位福利：定期技术分享，良好的技术氛围，超级nice的leader，五险一金＋补充商业保险等多种福利政策
薪资：行业内有竞争力的薪资
坐标：上海市普陀区金沙江路，13号线真北路下，地铁出来即是，大热天不怕晒
一、搜索架构工程师
岗位职责：
1、负责在线搜索服务的稳定性，性能，时效性和扩展性；
2、负责构建一套能快速满足多种业务检索需求的通用搜索平台；
3、负责分布式搜索服务架构设计、开发与优化、稳定性监控和维护；
4、关注行业搜索技术，引进和改善搜索架构；
职位要求：
1、本科以上学历 ，3年以上搜索相关工作经验
2、精通Lucene、Elastic Search开发和实战，能够修改Lucene、Elastic Search源代码
3、精通高可用、高并发分布式系统设计，有熟悉分布式搜索系统的架构和运维经验者有些
4、熟练掌握多线程，线程池技术，对网络通信、异步通信、高并发访问、负载均衡等技术有深入了解
5、具有高度的抽象设计能力，思路清晰，善于思考，能独立驱动、分析和解决问题
6、责任心强，良好的沟通交流、团队合作精神、以结果为导向
二、高级搜索工程师（Elasticsearch）
岗位职责：
1、参与平台化的各类搜索相关的功能；
2、参与系统的设计和核心代码的编写；
3、明确搜索业务需求，按时完成指定模块的设计与开发，并确保质量；
4、对自己的代码要求严格，并对已有模块进行优化升级；
5、搜索算法研究及实现，搜索相关扩展应用研发；
6、善于思考，能解决复杂的ES性能调优问题。
任职要求：
1、211本科以上学历，计算机或者相关专业；
2、至少一年Elasticsearch开发经验，一年Java开发经验；
3、掌握搜索引擎基本原理、相关检索、排序算法和数据结构，良好的数据结构基础；
4、熟悉Java开发语言，熟悉Spring MVC、iBatis、netty等主流框架，熟练使用eclipse等开发工具；
5、熟悉MySQL数据库应用；
6、熟悉lucene，ELK生态，大数据平台优先；
7、对技术富有激情，对新技术有了解，思路清晰；
8、工作态度积极、踏实、认真，有责任感，有团队合作意识；
欢迎大家推荐或者自荐～
继续阅读 »
投递方式：wei.chen04@ele.me
QQ：2908368828
岗位福利：定期技术分享，良好的技术氛围，超级nice的leader，五险一金＋补充商业保险等多种福利政策
薪资：行业内有竞争力的薪资
坐标：上海市普陀区金沙江路，13号线真北路下，地铁出来即是，大热天不怕晒
一、搜索架构工程师
岗位职责：
1、负责在线搜索服务的稳定性，性能，时效性和扩展性；
2、负责构建一套能快速满足多种业务检索需求的通用搜索平台；
3、负责分布式搜索服务架构设计、开发与优化、稳定性监控和维护；
4、关注行业搜索技术，引进和改善搜索架构；
职位要求：
1、本科以上学历 ，3年以上搜索相关工作经验
2、精通Lucene、Elastic Search开发和实战，能够修改Lucene、Elastic Search源代码
3、精通高可用、高并发分布式系统设计，有熟悉分布式搜索系统的架构和运维经验者有些
4、熟练掌握多线程，线程池技术，对网络通信、异步通信、高并发访问、负载均衡等技术有深入了解
5、具有高度的抽象设计能力，思路清晰，善于思考，能独立驱动、分析和解决问题
6、责任心强，良好的沟通交流、团队合作精神、以结果为导向
二、高级搜索工程师（Elasticsearch）
岗位职责：
1、参与平台化的各类搜索相关的功能；
2、参与系统的设计和核心代码的编写；
3、明确搜索业务需求，按时完成指定模块的设计与开发，并确保质量；
4、对自己的代码要求严格，并对已有模块进行优化升级；
5、搜索算法研究及实现，搜索相关扩展应用研发；
6、善于思考，能解决复杂的ES性能调优问题。
任职要求：
1、211本科以上学历，计算机或者相关专业；
2、至少一年Elasticsearch开发经验，一年Java开发经验；
3、掌握搜索引擎基本原理、相关检索、排序算法和数据结构，良好的数据结构基础；
4、熟悉Java开发语言，熟悉Spring MVC、iBatis、netty等主流框架，熟练使用eclipse等开发工具；
5、熟悉MySQL数据库应用；
6、熟悉lucene，ELK生态，大数据平台优先；
7、对技术富有激情，对新技术有了解，思路清晰；
8、工作态度积极、踏实、认真，有责任感，有团队合作意识；
欢迎大家推荐或者自荐～
饿了么搜索推荐研发部现热招搜索相关人才
投递方式：wei.chen04@ele.me
QQ：2908368828
岗位福利：定期技术分享，良好的技术氛围，超级nice的leader，五险一金＋补充商业保险等多种福利政策
薪资：行业内有竞争力的薪资
坐标：上海市普陀区金沙江路，13号线真北路下，地铁出来即是，大热天不怕晒
一、搜索架构工程师
岗位职责：
1、负责在线搜索服务的稳定性，性能，时效性和扩展性；
2、负责构建一套能快速满足多种业务检索需求的通用搜索平台；
3、负责分布式搜索服务架构设计、开发与优化、稳定性监控和维护；
4、关注行业搜索技术，引进和改善搜索架构；
职位要求：
1、本科以上学历 ，3年以上搜索相关工作经验
2、精通Lucene、Elastic Search开发和实战，能够修改Lucene、Elastic Search源代码
3、精通高可用、高并发分布式系统设计，有熟悉分布式搜索系统的架构和运维经验者有些
4、熟练掌握多线程，线程池技术，对网络通信、异步通信、高并发访问、负载均衡等技术有深入了解
5、具有高度的抽象设计能力，思路清晰，善于思考，能独立驱动、分析和解决问题
6、责任心强，良好的沟通交流、团队合作精神、以结果为导向
二、高级搜索工程师（Elasticsearch）
岗位职责：
1、参与平台化的各类搜索相关的功能；
2、参与系统的设计和核心代码的编写；
3、明确搜索业务需求，按时完成指定模块的设计与开发，并确保质量；
4、对自己的代码要求严格，并对已有模块进行优化升级；
5、搜索算法研究及实现，搜索相关扩展应用研发；
6、善于思考，能解决复杂的ES性能调优问题。
任职要求：
1、211本科以上学历，计算机或者相关专业；
2、至少一年Elasticsearch开发经验，一年Java开发经验；
3、掌握搜索引擎基本原理、相关检索、排序算法和数据结构，良好的数据结构基础；
4、熟悉Java开发语言，熟悉Spring MVC、iBatis、netty等主流框架，熟练使用eclipse等开发工具；
5、熟悉MySQL数据库应用；
6、熟悉lucene，ELK生态，大数据平台优先；
7、对技术富有激情，对新技术有了解，思路清晰；
8、工作态度积极、踏实、认真，有责任感，有团队合作意识；
欢迎大家推荐或者自荐～
收起阅读 »
投递方式：wei.chen04@ele.me
QQ：2908368828
岗位福利：定期技术分享，良好的技术氛围，超级nice的leader，五险一金＋补充商业保险等多种福利政策
薪资：行业内有竞争力的薪资
坐标：上海市普陀区金沙江路，13号线真北路下，地铁出来即是，大热天不怕晒
一、搜索架构工程师
岗位职责：
1、负责在线搜索服务的稳定性，性能，时效性和扩展性；
2、负责构建一套能快速满足多种业务检索需求的通用搜索平台；
3、负责分布式搜索服务架构设计、开发与优化、稳定性监控和维护；
4、关注行业搜索技术，引进和改善搜索架构；
职位要求：
1、本科以上学历 ，3年以上搜索相关工作经验
2、精通Lucene、Elastic Search开发和实战，能够修改Lucene、Elastic Search源代码
3、精通高可用、高并发分布式系统设计，有熟悉分布式搜索系统的架构和运维经验者有些
4、熟练掌握多线程，线程池技术，对网络通信、异步通信、高并发访问、负载均衡等技术有深入了解
5、具有高度的抽象设计能力，思路清晰，善于思考，能独立驱动、分析和解决问题
6、责任心强，良好的沟通交流、团队合作精神、以结果为导向
二、高级搜索工程师（Elasticsearch）
岗位职责：
1、参与平台化的各类搜索相关的功能；
2、参与系统的设计和核心代码的编写；
3、明确搜索业务需求，按时完成指定模块的设计与开发，并确保质量；
4、对自己的代码要求严格，并对已有模块进行优化升级；
5、搜索算法研究及实现，搜索相关扩展应用研发；
6、善于思考，能解决复杂的ES性能调优问题。
任职要求：
1、211本科以上学历，计算机或者相关专业；
2、至少一年Elasticsearch开发经验，一年Java开发经验；
3、掌握搜索引擎基本原理、相关检索、排序算法和数据结构，良好的数据结构基础；
4、熟悉Java开发语言，熟悉Spring MVC、iBatis、netty等主流框架，熟练使用eclipse等开发工具；
5、熟悉MySQL数据库应用；
6、熟悉lucene，ELK生态，大数据平台优先；
7、对技术富有激情，对新技术有了解，思路清晰；
8、工作态度积极、踏实、认真，有责任感，有团队合作意识；
欢迎大家推荐或者自荐～
收起阅读 »
