1. 安全播报：超过5000个kibana实例裸奔在互联网 http://t.cn/R9JLxE9
你的kibana也在裸奔吗？戳这里
 
 2. string类型已死，字符串永生 http://t.cn/R9xxGwq
还在疑惑ES5为什么移除了string类型？这里有你想要的答案。

3. 机器学习与日志分析 http://t.cn/R9xxJtU
不要被潮流淘汰：人工分析日志是徒劳的，机器学习是日志分析的趋势，玩转日志分析和机器学习。

4. 另类玩法：用Elasticsearch和Grafana分析你的GitHub项目 http://t.cn/R9xXkZE
想快速直观炫酷的了解自己的github project，这篇文章教你新姿势。

编辑：金桥

归档：https://elasticsearch.cn/article/207
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

消息来自：https://medium.com/%40SergiuSe ... 4af48
因为这个网址不存在，所以搬过来大家一起看看，请自查自家服务器是不是快乐的在裸奔，嘿，要管管了啊。
试试：
https://www.zoomeye.org/search ... Dhost 
https://www.shodan.io/search?query=kibana​ 
 

Over 5,000 Kibana instances exposed on the internet

I’m not a big fan of writing articles so I’ll keep it short… I was using Shodan.io recently for research purposes and while searching for different devices I came across 5,591 Kibana instances exposed over the internet. A significant number of those instances didn’t use any authentication mechanisms and several had +100 million log events recorded.

The query syntax that I used was the following: kibana port:”5601".


 
Risk: Kibana is deployed alone or together with Elasticsearch and Logstash (the ELK Stack) for log management purposes and it gained notoriety in the last couple of years as an open source alternative to more expensive commercial solutions. Log management solutions usually contain sensitive info and should not be exposed over the internet… (people who are familiar with information security know what I’m talking about).

Solution: For all the entities affected please refer to the following link and enable authentication on your Kibana implementations: https://www.elastic.co/guide/e ... .html


 
去年的大规模勒索事件，大家应该还记得吧，什么，ES你也裸奔着，你。。。
  收起阅读 »

1. ELK 与 Raspberry Pi 的另类极客玩法  http://t.cn/R9MLk7E
只要你有一个树莓派， 就可以轻松打造一个跑在“云”上的便携式 ELK 集群。

2. Elasticsearch 安全 Search Guard 落地实践  http://t.cn/R9ZeqNp
Search Guard 是一款 Elasticsearch 比较通用且方便的认证插件，这篇文章主要讲解了如何快速接入 Search Guard 插件。

3. Docker Logging with the ELK Stack
Part 1  http://t.cn/R9MUnJS 
Part 2  http://t.cn/R9M4UNz
关于 Docker 日志的采集应该是 ELK 应用最广泛的一面，具体的一些细节可以参考上述文档。该文档共有两部分。

编辑：江水

归档：https://elasticsearch.cn/article/205 
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. Elasticsearch 6.0 将严格校验 Content-Type http://t.cn/R9VmPqx
 
大家知道 Elasticsearch 是 HTTP+Restfu 风格的，在 5.x 及以前的版本，Content-Type 一直是松散不校验的，从而存在跨站脚本攻击的可能，所以从 6.0 开始，所有带请求体的 HTTP 请求都需要带上正确的 Content-type 才能正常执行，同时也意味着你的客户端是不是需要更新或者升级了，另外 6.0 马上就要发布了哦。

2. Elasticsearch: How to avoid index throttling, deep dive in segments merging http://t.cn/R9V1sZH

Segment 的合并会严重影响 Elasticsearch 的性能，但你知道 Elasticsearch 什么时候会进行合并么？这篇文章从源码层面比较详细的介绍了 Elasticsearch 内部的 Segment 合并策略，感兴趣的同学可以仔细读一下。

3. Making your search not suck with Elasticsearch http://t.cn/R9Vg1SO

系列文章，主要介绍文本分析原理以及如何优化 Elasticsearch 的相关性评分，完善搜索结果。

4.极客邦科技发布站内搜索（InfoQ） http://t.cn/R9Vru3R

Powered by Elasticsearch！看起来不错哦，虽然目前功能还比较简单。
如果您有基于 Elasticsearch 实现的酷站，也欢迎投稿哦。
 
今天是八一建军节，解放军同志们辛苦了！


编辑：Medcl
归档：https://elasticsearch.cn/article/203​
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. Logstash Persistent Queue http://t.cn/R9ctBCQ
Logstash 5.x 新加入了持久化队列功能，想要了解的同学不妨看看官网的这篇介绍哦！

2. 在Elasticsearch中应用机器学习排序LTR http://t.cn/RX2AVnS
相信不少同学在开发中遇到过修改排序结果的需求，常见的操作是使用function_score 来自定义排序分值，但要做到个性化搜索的话，往往离不开数据挖掘、机器学习的算法，那么如何整合这些算法到Elasticsearch中呢？该文提供了一个思路，推荐阅读，开阔视野！

3.用ElasticSearch搭建自己的搜索和分析引擎  http://t.cn/R9can85
来看下腾讯WeTest团队是如何调研和测试 Elasticsearch的，文章中提到的论坛统计分析功能是一个常见的需求，推荐大家阅读并实践！

4.X-Pack Machine Learning Online Training http://t.cn/R9c6vnt
价值 $400 的 elastic 机器学习在线教程免费啦！免费啦！免费啦！还不赶紧去注册！

编辑：rockybean
归档：https://elasticsearch.cn/article/202
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. A Practical Introduction to Elasticsearch http://t.cn/R9tzos1
通过实际案例介绍Elasticsearch，作为入门教程还是不错的，推荐新手阅读！

2. Elasticsearch 5.0 General Performance Recommendations http://t.cn/R9tz3Vc
关注性能的同学有福了，来看看qbox工程师对于 5.0 调优的建议，干货满满，不要错过哦！

3. Filebeat vs. Logstash — The Evolution of a Log Shipper  http://t.cn/R9tZBFq
相信不少同学对于 Beats 和 Logstash的定位有疑惑，不妨看下这篇文章！
 
编辑：rockybean
归档：https://elasticsearch.cn/article/201 
订阅：https://tinyletter.com/elastic-daily
  收起阅读 »

想不想去最棒的开源软件公司工作？
想不想不用朝9晚5浪费大量时间在路上，在家就能办公？
想不想让您的代码运行在成千上万台服务器上面，拯救世界？
想不想工作与生活的完美结合，做自己感兴趣的事情？
... ...
那考虑来Elastic吧，与全球顶尖工程师一起合作，福利待遇从优，一年至少2次出国机会。

基本要求：

• 英语流利沟通
• 掌握现代开发技术
• 贡献过Elastic相关开源项目者优先

 
  下面是热招职位，位置不限，We are Distributed! 

• 社区技术布道师
• 技术支持工程师
• 技术顾问
• 业务架构师
• Elasticsearch - Java Engineer - Search
• Elasticsearch - Java Engineer - Security
• Elasticsearch - Java Performance Engineer
• Elasticsearch - Senior Java Engineer (Core Team)
• Beats - Golang Engineer
• Logstash - Ruby Engineer
• Kibana - Platform JavaScript Engineer (Node.js)
• Kibana - Senior JavaScript Engineer
• Kibana - Visualisations & Vega Engineer
• UI Engineer - Design
• SecOps - JavaScript Engineer
• SRE- Infrastructure - Site Reliability Engineer
• InfoSec - Sr. Security Engineer

除了上面这些，还有很多其他市场商务类职务，
查看 Elastic 全部在招职位信息，点击这里！

关于 Elastic
Elastic 致力于构建大规模实时数据处理软件，场景主要涵盖搜索、日志、安全与数据分析等领域。公司成立于 2012 年，旗下拥有产品：开源的 Elastic Stack（Elasticsearch、Kibana、Beats 和 Logstash）、 X-Pack （商业特性）和 Elastic Cloud （一个 SaaS 服务）。迄今为止，这些产品的累积下载次数已超过 3.5 亿。
成千上万的企业包括思科、易趣、高盛、美国宇航局、微软、梅约诊所、纽约时报、维基百科以及微讯通信等都在使用 Elastic 来助力其关键业务应用。 
Elastic 由 Benchmark Capital、Index Ventures 及 NEA 投资，投资额超过 1 亿美金。Elastic 拥有超过 1000 位员工，分布于世界上 30 多个国家和地区。了解更多请访问： elastic.co 。 收起阅读 »

岗位职责：

1，负责个性化推荐系统的算法和架构研发, 实现在相关产品中的精准推荐；

2，负责产品、内容的推荐与其他场景的基础数据挖掘；

3，根据海量用户行为的分析和挖掘，构建用户画像、标签系统等。

 
任职要求：

1、两年以上相关工作经验；

2、有推荐系统或搜索排序研发经验, 熟悉常用的推荐算法，有实际算法调优经验；

3、熟悉Hadoop、HBase、Spark、Kafka等计算平台和工具；

4、掌握自然语言处理、协同推荐算法方面的基本知识；

5、良好的沟通和学习能力，团队合作精神，能独立承担工作。

 
加分项：

1，有大规模海量数据机器学习、数据挖掘、计算广告、搜索引擎相关经验；

2，有互联网电商行业数据经验。


易所试集团（Www.liketry.com），新三板上市公司，市值10亿左右，组建北京研发中心，13薪起，正常基数五险一金并提供商业保险（补充医疗+意外等），10天年假起，弹性工作制，薪资可根据能力商议。工作地点：北京望京SOHO，简历请发送至邮箱：hang.song@liketry.com。 收起阅读 »

岗位职责：
负责参与搜索业务的系统架构及研发，对现有搜索业务系统进行改进和优化
1．负责搜索服务端的开发工作； 
2． 负责分词，索引和查询的算法优化；
3．研究数据的存储、传输，优化系统架构，不断提升系统时效性、灵活性及性能；
4． 对代码和设计质量有严格要求，重视Code Review，知道良好编程习惯的标准；
5． 参与搜索系统分布式架构设计，研究分布式信息检索的服务架构，分析和修改相关性算法、策略，构建高性能，灵活易调研的分布式检索系统。

任职要求：
1. 计算机或相关专业本科及以上学历，2年以上搜索引擎相关的研发经验；
2. 有自然语言处理、相关性算法、rerank等经验者或数据挖掘实践经验者优先；
3. 深刻理解企业应用设计模式，有大型分布式，高并发，高负载，高可用性系统设计开发经验；
4. 有扎实的Java基础(熟悉io、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制） ；
5. 熟悉Elasticsearch 对分布式搜索有一定实战经验；
6. 对互联网产品敏感，学习能力强
7. 熟悉数理统计和机器学习的基础理论，并有一定的实战经验者优先（可选）；
8. 熟悉常见机器学习排序方法，如：GBDT、LTR或随机森林，熟悉特征处理方法者优先（可选）；
 
薪酬范围:  
10k - 20k /月 + 年终奖 
 
有意者邮件联系: ckjiang@ctrip.com  收起阅读 »

在jdbc中，如果需要多少使用到时间的值。如果使用lastexecutionstart，分了两次查询，time不一致。对于初始化和热更新都不一致。例如：
sql : [
{ "statement" : "select * from table1 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] },
{ "statement" : "select * from table2 where mytimestamp > ?", "parameter" : [ "$metrics.lastexecutionstart" ] }
    ], 收起阅读 »

饿了么搜索推荐研发部现热招搜索相关人才
投递方式：wei.chen04@ele.me
QQ：2908368828
岗位福利：定期技术分享，良好的技术氛围，超级nice的leader，五险一金＋补充商业保险等多种福利政策
薪资：行业内有竞争力的薪资
坐标：上海市普陀区金沙江路，13号线真北路下，地铁出来即是，大热天不怕晒
 

一、搜索架构工程师
岗位职责：

1、负责在线搜索服务的稳定性，性能，时效性和扩展性；
2、负责构建一套能快速满足多种业务检索需求的通用搜索平台；
3、负责分布式搜索服务架构设计、开发与优化、稳定性监控和维护；
4、关注行业搜索技术，引进和改善搜索架构；

职位要求：
1、本科以上学历 ，3年以上搜索相关工作经验
2、精通Lucene、Elastic Search开发和实战，能够修改Lucene、Elastic Search源代码
3、精通高可用、高并发分布式系统设计，有熟悉分布式搜索系统的架构和运维经验者有些
4、熟练掌握多线程，线程池技术，对网络通信、异步通信、高并发访问、负载均衡等技术有深入了解
5、具有高度的抽象设计能力，思路清晰，善于思考，能独立驱动、分析和解决问题
6、责任心强，良好的沟通交流、团队合作精神、以结果为导向

二、高级搜索工程师（Elasticsearch）

    岗位职责：
 1、参与平台化的各类搜索相关的功能；
 2、参与系统的设计和核心代码的编写；
 3、明确搜索业务需求，按时完成指定模块的设计与开发，并确保质量；
 4、对自己的代码要求严格，并对已有模块进行优化升级；
 5、搜索算法研究及实现，搜索相关扩展应用研发；
 6、善于思考，能解决复杂的ES性能调优问题。

任职要求：
 1、211本科以上学历，计算机或者相关专业；
 2、至少一年Elasticsearch开发经验，一年Java开发经验；
 3、掌握搜索引擎基本原理、相关检索、排序算法和数据结构，良好的数据结构基础；
 4、熟悉Java开发语言，熟悉Spring MVC、iBatis、netty等主流框架，熟练使用eclipse等开发工具；
 5、熟悉MySQL数据库应用；
 6、熟悉lucene，ELK生态，大数据平台优先；
 7、对技术富有激情，对新技术有了解，思路清晰；
 8、工作态度积极、踏实、认真，有责任感，有团队合作意识；
 
 
欢迎大家推荐或者自荐～





  收起阅读 »

{

  "$schema": "https://vega.github.io/schema/ ... ot%3B,

  "description": "A simple bar chart with embedded data.",

  "width": 300, "height": 200, "padding": 5,

  "data": {

    "values": [

      {"a": "A","b": 28}, {"a": "B","b": 55}, {"a": "C","b": 43},

      {"a": "D","b": 91}, {"a": "E","b": 81}, {"a": "F","b": 53},

      {"a": "G","b": 19}, {"a": "H","b": 87}, {"a": "I","b": 52}

    ]

  },

  "mark": "bar",

  "encoding": {

    "x": {"field": "a", "type": "ordinal"},

    "y": {"field": "b", "type": "quantitative"}

  }

}

Vega：
https://vega.github.io/vega/examples/
 
Vega是什么？
相比其他第三方可视化库，Vega的目的是让你更快将数据进行展现，vega通过声明的方式可以快速将你的数据进行各种格式化，而不用纠结于具体的调用细节，和SQL这种通用式交互语言类似，数据的输入是JSON。


 
Vega的Kibana插件下载地址：
https://github.com/nyurik/kibana-vega-vis/releases
 
安装之后，就能在可视化类型里面选择Vega了，使用起来很简单，输入相应的描叙语言，如：

{

  "$schema": "https://vega.github.io/schema/ ... ot%3B,

  "description": "A simple bar chart with embedded data.",

  "width": 300, "height": 200, "padding": 5,

  "data": {

    "values": [

      {"a": "A","b": 28}, {"a": "B","b": 55}, {"a": "C","b": 43},

      {"a": "D","b": 91}, {"a": "E","b": 81}, {"a": "F","b": 53},

      {"a": "G","b": 19}, {"a": "H","b": 87}, {"a": "I","b": 52}

    ]

  },

  "mark": "bar",

  "encoding": {

    "x": {"field": "a", "type": "ordinal"},

    "y": {"field": "b", "type": "quantitative"}

  }

}

Vega支持各种可视化类型，更多详情请参照文档和例子：
https://vega.github.io/vega-li ... k-def
https://vega.github.io/vega/examples/
https://github.com/nyurik/kiba ... -demo 收起阅读 »

(Netty4Utils:117)-NoSuchMethodError io.netty.buffer.CompositeByteBuf.addComponents(ZLjava/lang/Iterable;)Lio/netty/buffer/CompositeByteBuf;

at org.elasticsearch.transport.netty4.Netty4Utils.toByteBuf(Netty4Utils.Java:78)

at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:422)

at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:93)

at org.elasticsearch.transport.TcpTransport.internalSendMessage(TcpTransport.java:1058)

at org.elasticsearch.transport.TcpTransport.sendRequestToChannel(TcpTransport.java:1040)

spark1.6.x   elasticsearch5.x  
 
netty冲突
 

(Netty4Utils:117)-NoSuchMethodError io.netty.buffer.CompositeByteBuf.addComponents(ZLjava/lang/Iterable;)Lio/netty/buffer/CompositeByteBuf;

at org.elasticsearch.transport.netty4.Netty4Utils.toByteBuf(Netty4Utils.Java:78)

at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:422)

at org.elasticsearch.transport.netty4.Netty4Transport.sendMessage(Netty4Transport.java:93)

at org.elasticsearch.transport.TcpTransport.internalSendMessage(TcpTransport.java:1058)

at org.elasticsearch.transport.TcpTransport.sendRequestToChannel(TcpTransport.java:1040)

 试过其他jar排除方案都不生效，暂时可以fix的解决方案
 
```
.put("transport.type","netty3")
``` 收起阅读 »

企业培训公司面向单位员工培训，长期招Cassandra兼职老师，一般三天左右的短周期培训，周末为主，有2人左右的小辅导，也有30人左右的培训大班，待遇优，北京，上海，成都，广州，深圳等，如您想挣点外块，积累资源，充实生活，请联系我。 

要求：
相关技术专业，本科及以上学历； 
三年以上实际项目经验； 
认真，热情，耐心，乐于助人，不保守，表达能力较好。具体再议。 

感兴趣的可以联系：QQ 2355811930 ；QQ1489302364，微信15501239699，简历接收邮箱：admin@info-soft.cn 
 
 
  收起阅读 »

职位描述【工作职责】：
1、负责搜索系统分布式架构设计、搭建、维护和优化；
2、负责分词，索引和查询的算法优化，提高查全率和搜索性能；
3、负责搜索服务端的开发工作，融合大数据平台实现个性化搜索，完成各种垂直搜索应用的开发；
4、负责内容的数据挖掘，分析与挖掘各种潜在关联，分析特征，建议模型，优化现有的排序结果；
5、搜索服务的线上部署和维护，监控搜索服务的运行状态；

【岗位要求】：
1. 熟悉搜索引擎原理和机制，熟练撑握搜索引擎技术，有丰富的搜索引擎相关的研发经验，对算法设计、数据结构有深刻的理解；
2. 熟悉Solr、Elasticsearch等开源搜索技术及mysql、redis等数据库，能够胜任搜索引擎应用技术的研究与开发、设计与架构能力；
3. 熟悉LINUX操作命令及Python、SHELL脚本编写；
4、对数据敏感，具备优秀的逻辑思维，对解决挑战性问题充满热情，善于独立解决问题和分析问题；
5. 在用户行为挖掘上有相关研究和专业积累；有较好的创新能力；
6. 良好的团队合作精神，较强的沟通能力；
7. 实践过自然语言处理、数据挖掘、机器学习者优先；
8. 有信息提取和大型搜索索引建立、排序算法、query优化经验者优先；
 
有意者请发简历至 yuezhitao@patsnap.com

【加入我们，你可以得到什么？】
你可以得到国际化的视野，可以和国外的同事和客户进行交流沟通
你可以跟随公司快速成长，从“前台”到“总裁”的华丽变身不再是梦想
你可以学习和应用最新最酷的技术，我们鼓励学习创新，而不是重复使用过时效率差的技术
你不需要定时打卡，不用担心迟到扣钱，因为我们是弹性工作制
你不需要担心五险一金，因为我们完全按照规定缴纳，员工还可以享受年假、病假、婚假、丧假、产假等带薪休假，另外我们还有补充商业保险

【为什么选择我们？】
1. 公司前景：整个大环境对知识产权的重视，除了现有业务增长迅猛，还在新兴业务上积极布局
2. 办公地点：坐落于上海静安区黄金地段，CBD中的CBD
3. 交通方便：地铁五线环绕（1，3，4，12，13），步行10分钟之内可到，数十多路公交车近在咫尺
4. 工作环境：开放，明亮。无限量供应的饮料和零食，可以让你迅速成为胖纸！ Mac Pro, Surface Pro, 大屏显示器各种标配。

【我们是谁？】
或许现在你对专利市场还感到陌生，或许你还并不了解知识产权的重要性，但互联网时代，“IP”这个热词你一定有所听说，且耳熟能详。看看身边高精尖的技术产品，被百姓津津乐道的新能源汽车，到酷炫的无人驾驶，还有风靡持久的日本电饭煲……无不持续着、保护着、更迭着他们的IP技术。

崛起的IP界应证着这样一句话： 
21世纪一定是知识经济的时代，科技创新更是知识经济时代的灵魂——
而PatSnap智慧芽，正立旨于为科技创新指路。

PatSnap是全球领先的专利分析与管理平台，公司致力于让全球更多组织机构了解并使用专利。PatSnap通过提供强大又易用的专利工具，帮助客户从专利中获取有价值的资讯，从而促进客户的商业化过程，加速研发进度，确定重要技术发展方向，最终提高客户在行业内的核心竞争力。

PatSnap通过位于新加坡，中国苏州，英国伦敦的三家分公司，业务辐射全球上千家企业，客户中不乏 IBM ，美国国立卫生研究院，美国国防部，MIT（麻省理工学院）以及新加坡国立大学等知名企业及团体。

目前我们已经获得C轮融资，在近期的在德勤亚太区高科技高成长500强企业中获得第44位的优质排名。德勤高科技高成长500强是亚太区内享负盛名的高科技企业评选活动。本次评选基于过去三年企业的收入增长百分比而定，智慧芽在这段时期内增长了1078%！
 
有意者请发简历至 yuezhitao@patsnap.com 收起阅读 »