使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

社区日报 第396期 (2018-09-16)

1.(自备梯子)Kibana的第三方地图和平铺服务。
http://t.cn/EvfhXE9
2.Logstash教程:快速入门指南。
http://t.cn/Evf7oTo
3.(自备梯子)苹果想要挽救你的生命。
http://t.cn/Evfzk6z

活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:至尊宝
归档:https://elasticsearch.cn/article/801
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.(自备梯子)Kibana的第三方地图和平铺服务。
http://t.cn/EvfhXE9
2.Logstash教程:快速入门指南。
http://t.cn/Evf7oTo
3.(自备梯子)苹果想要挽救你的生命。
http://t.cn/Evfzk6z

活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:至尊宝
归档:https://elasticsearch.cn/article/801
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第395期 (2018-09-15)

1、容器化日志收集方案-EFK 
http://t.cn/EvUKuIX 
2、painless获取doc字段的方式 
http://t.cn/EvqCbBD 
3、基于spark和es的简单推荐系统 
http://t.cn/Evqplv5 
 
活动预告 
1、Elastic 中国开发者大会门票发售中 
https://conf.elasticsearch.cn/2018/shenzhen.html 
 
编辑: bsll 
归档:https://elasticsearch.cn/article/800
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、容器化日志收集方案-EFK 
http://t.cn/EvUKuIX 
2、painless获取doc字段的方式 
http://t.cn/EvqCbBD 
3、基于spark和es的简单推荐系统 
http://t.cn/Evqplv5 
 
活动预告 
1、Elastic 中国开发者大会门票发售中 
https://conf.elasticsearch.cn/2018/shenzhen.html 
 
编辑: bsll 
归档:https://elasticsearch.cn/article/800
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第394期 (2018-09-14)

1、Top10 Elasticsearch国外博客推荐
http://t.cn/EvwhwJ0
2、Nginx plus结合Elasticsearch使用
http://t.cn/RGnQHFc
3、小心!记录Elasticsearch object的坑及解决方案
http://t.cn/Evwh0uW
​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:铭毅天下
归档:https://elasticsearch.cn/article/799
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、Top10 Elasticsearch国外博客推荐
http://t.cn/EvwhwJ0
2、Nginx plus结合Elasticsearch使用
http://t.cn/RGnQHFc
3、小心!记录Elasticsearch object的坑及解决方案
http://t.cn/Evwh0uW
​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:铭毅天下
归档:https://elasticsearch.cn/article/799
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第393期 (2018-09-13)

1.使用上下文推荐丰富Elasticsearch的自动完成功能
http://t.cn/EvZIss5
2.ES地理坐标类型在Spring Data中的常见使用问题整理解答
http://t.cn/EvZMqGn
3.一个业务问题引发的ES排序思考
http://t.cn/EvZMcEc

​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
 
编辑:金桥
归档:https://elasticsearch.cn/article/798
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.使用上下文推荐丰富Elasticsearch的自动完成功能
http://t.cn/EvZIss5
2.ES地理坐标类型在Spring Data中的常见使用问题整理解答
http://t.cn/EvZMqGn
3.一个业务问题引发的ES排序思考
http://t.cn/EvZMcEc

​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
 
编辑:金桥
归档:https://elasticsearch.cn/article/798
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

统计监控es 集群中某个索引qps, indices.total.search.query_total

集群中有两个索引,我想监控每个索引的qps,indices.total.search.query_total这个参数是统计的 该索引 所有分片的查询总次数吗,需要除以分片数吗
集群中有两个索引,我想监控每个索引的qps,indices.total.search.query_total这个参数是统计的 该索引 所有分片的查询总次数吗,需要除以分片数吗

社区日报 第392期 (2018-09-12)

1. Elasticsearch 存储深入详解
http://t.cn/RsRYucC
2. 利用 ELK 搭建 Docker 容器化应用日志中心
http://t.cn/Rsklfju
3. 收集 Kubernetes 控制台日志及元数据(fluent-bit+es+kibana 搭建)
http://t.cn/RsDTGoX
 
活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
 
编辑:江水
归档:https://elasticsearch.cn/article/796
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. Elasticsearch 存储深入详解
http://t.cn/RsRYucC
2. 利用 ELK 搭建 Docker 容器化应用日志中心
http://t.cn/Rsklfju
3. 收集 Kubernetes 控制台日志及元数据(fluent-bit+es+kibana 搭建)
http://t.cn/RsDTGoX
 
活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
 
编辑:江水
归档:https://elasticsearch.cn/article/796
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第391期 (2018-09-11)

1.使用KSQL聚合窗口时间并以Elasticsearch可视化展示。
http://t.cn/Rsm4fTt
2.Elasticsearch存储深入详解。
http://t.cn/Rsm4ovu
3.Elasticsearch,why和how。
http://t.cn/Rsm4Nvw

活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:叮咚光军
归档:https://elasticsearch.cn/article/795
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.使用KSQL聚合窗口时间并以Elasticsearch可视化展示。
http://t.cn/Rsm4fTt
2.Elasticsearch存储深入详解。
http://t.cn/Rsm4ovu
3.Elasticsearch,why和how。
http://t.cn/Rsm4Nvw

活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:叮咚光军
归档:https://elasticsearch.cn/article/795
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第390期 (2018-09-10)

Elastic日报 第390期 (2018-09-10)

1.elastic APM 的 java 客户端,有性能分析的同学可以尝试。
http://t.cn/RslU1Cz
2.使用 Elasticsearch 实现博客站内搜索。
http://t.cn/R4ajYTZ
3.安全实践:在FIPS 140-2环境中部署elasticsearch。
http://t.cn/RslIvR9

活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:cyberdak
归档:https://elasticsearch.cn/article/794
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
Elastic日报 第390期 (2018-09-10)

1.elastic APM 的 java 客户端,有性能分析的同学可以尝试。
http://t.cn/RslU1Cz
2.使用 Elasticsearch 实现博客站内搜索。
http://t.cn/R4ajYTZ
3.安全实践:在FIPS 140-2环境中部署elasticsearch。
http://t.cn/RslIvR9

活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:cyberdak
归档:https://elasticsearch.cn/article/794
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第389期 (2018-09-09)

1.ELK Stack完整指南 - 2018年。
http://t.cn/R9RHO6l
2.安全最佳实践:高增长初创企业的经验教训。
http://t.cn/RsoQXK2
3.(自备梯子)再见,面向对象编程。
http://t.cn/Rt4icdt

活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:至尊宝
归档:https://elasticsearch.cn/article/793
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.ELK Stack完整指南 - 2018年。
http://t.cn/R9RHO6l
2.安全最佳实践:高增长初创企业的经验教训。
http://t.cn/RsoQXK2
3.(自备梯子)再见,面向对象编程。
http://t.cn/Rt4icdt

活动预告:
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html

编辑:至尊宝
归档:https://elasticsearch.cn/article/793
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第388期 (2018-09-08)

  1. 用ElasticCloud上的ES精准分析空气质量数据 http://t.cn/RsIi2c0 

  2. ES painless用法示例。 http://t.cn/RsIgnOF 

  3. 一周热点:Google推出数据集搜索 http://t.cn/Rs2xE82   

活动预告

1、Elastic 中国开发者大会门票发售中 https://conf.elasticsearch.cn/2018/shenzhen.html

继续阅读 »
  1. 用ElasticCloud上的ES精准分析空气质量数据 http://t.cn/RsIi2c0 

  2. ES painless用法示例。 http://t.cn/RsIgnOF 

  3. 一周热点:Google推出数据集搜索 http://t.cn/Rs2xE82   

活动预告

1、Elastic 中国开发者大会门票发售中 https://conf.elasticsearch.cn/2018/shenzhen.html

收起阅读 »

社区日报 第387期 (2018-09-07)

1、如何使用Elasticsearch进行智能运维?
http://t.cn/RQVKwkg
2、用kerberos保证ES集群安全
http://t.cn/RsG9ud2
3、百亿级日志系统架构设计及优化
http://t.cn/RsGCUGs


活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下交流活动免费报名中
https://elasticsearch.cn/article/759

编辑:铭毅天下
归档:https://elasticsearch.cn/article/791
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、如何使用Elasticsearch进行智能运维?
http://t.cn/RQVKwkg
2、用kerberos保证ES集群安全
http://t.cn/RsG9ud2
3、百亿级日志系统架构设计及优化
http://t.cn/RsGCUGs


活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下交流活动免费报名中
https://elasticsearch.cn/article/759

编辑:铭毅天下
归档:https://elasticsearch.cn/article/791
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第386期 (2018-09-06)

1.Mmap fs可能让大索引访问变得缓慢
https://elasticsearch.cn/article/754
2.高效管理 Elasticsearch 中基于时间的索引
http://t.cn/RshNpsO
3.利用elasticsearch实时监控JMeter测试结果
http://t.cn/RshNrE4

​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下交流活动免费报名中
https://elasticsearch.cn/article/759
 
编辑:金桥
归档:https://elasticsearch.cn/article/790
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Mmap fs可能让大索引访问变得缓慢
https://elasticsearch.cn/article/754
2.高效管理 Elasticsearch 中基于时间的索引
http://t.cn/RshNpsO
3.利用elasticsearch实时监控JMeter测试结果
http://t.cn/RshNrE4

​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下交流活动免费报名中
https://elasticsearch.cn/article/759
 
编辑:金桥
归档:https://elasticsearch.cn/article/790
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

Elastic 社区电台第三期,嘉宾:徐胜/张延明@饿了么

[前几期忘记发了,补上]

podcast-advertising-banner.jpg


 欢迎来到 Elastic 社区电台的第三期节目,本期嘉宾是来自上海饿了么公司的两位技术负责人。饿了么是中国专业的网上订餐平台,饿了么最早从 2.3 版本开始使用 Elasticsearch,从最早的 12 个集群,100 个节点,每天 400 万单,到如今达到 32 个集群,300 多个节点,千万个索引,总数据量达到 60 TB,共十几个业务系统的接入,每天高峰处理超 800 万单数据,搜索推荐、用户交易、后台营销等均通过 Elastic Stack 来实现。欢迎收听本期节目,了解饿了么应用 Elastic Stack 的具体情况、在规模化过程中遇到的挑战,以及他们的经验分享。


主持人:

Elastic 技术布道师,曾勇(Medcl)。


嘉宾:

张延明,饿了么运维专家,主要负责 ES 的部署、运维和 JVM 性能优化。曾供职于腾讯等大公司,在业务和基础运维方面有十年的工作经验,对 ES、Kafka 等分布式技术具有强烈的兴趣,一直负责核心业务场景的运维部署。


徐胜,饿了么 ES 的负责人,主要负责 ES 的平台化研发、ES 集群和查询性能优化,以及基于 ES 构建通用搜索引擎平台。对分布式计算、大数据具有浓厚的兴趣,在 ES 分布式搜索、大数据计算、聚合统计分析、性能优化等业务场景积累了三年经验。



可以点击下面的任意链接来收听(时长约 45 分钟):

Apple iTunes:https://itunes.apple.com/cn/po ... t%3D2
喜马拉雅:http://www.ximalaya.com/keji/14965410/94803743
蜻蜓 FM:http://share.qingting.fm/vchan ... 12932


关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。


关于饿了么

“饿了么”是中国专业的餐饮O2O平台,由拉扎斯网络科技(上海)有限公司开发运营。 作为中国餐饮业数字化领跑者,“饿了么”秉承激情、极致、创新之信仰,以建立全面完善的数字化餐饮生态系统为使命,为用户提供便捷服务极致体验,为餐厅提供一体化运营解决方案,推进整个餐饮行业的数字化发展进程。

 
继续阅读 »
[前几期忘记发了,补上]

podcast-advertising-banner.jpg


 欢迎来到 Elastic 社区电台的第三期节目,本期嘉宾是来自上海饿了么公司的两位技术负责人。饿了么是中国专业的网上订餐平台,饿了么最早从 2.3 版本开始使用 Elasticsearch,从最早的 12 个集群,100 个节点,每天 400 万单,到如今达到 32 个集群,300 多个节点,千万个索引,总数据量达到 60 TB,共十几个业务系统的接入,每天高峰处理超 800 万单数据,搜索推荐、用户交易、后台营销等均通过 Elastic Stack 来实现。欢迎收听本期节目,了解饿了么应用 Elastic Stack 的具体情况、在规模化过程中遇到的挑战,以及他们的经验分享。


主持人:

Elastic 技术布道师,曾勇(Medcl)。


嘉宾:

张延明,饿了么运维专家,主要负责 ES 的部署、运维和 JVM 性能优化。曾供职于腾讯等大公司,在业务和基础运维方面有十年的工作经验,对 ES、Kafka 等分布式技术具有强烈的兴趣,一直负责核心业务场景的运维部署。


徐胜,饿了么 ES 的负责人,主要负责 ES 的平台化研发、ES 集群和查询性能优化,以及基于 ES 构建通用搜索引擎平台。对分布式计算、大数据具有浓厚的兴趣,在 ES 分布式搜索、大数据计算、聚合统计分析、性能优化等业务场景积累了三年经验。



可以点击下面的任意链接来收听(时长约 45 分钟):

Apple iTunes:https://itunes.apple.com/cn/po ... t%3D2
喜马拉雅:http://www.ximalaya.com/keji/14965410/94803743
蜻蜓 FM:http://share.qingting.fm/vchan ... 12932


关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。


关于饿了么

“饿了么”是中国专业的餐饮O2O平台,由拉扎斯网络科技(上海)有限公司开发运营。 作为中国餐饮业数字化领跑者,“饿了么”秉承激情、极致、创新之信仰,以建立全面完善的数字化餐饮生态系统为使命,为用户提供便捷服务极致体验,为餐厅提供一体化运营解决方案,推进整个餐饮行业的数字化发展进程。

  收起阅读 »

社区日报 第385期 (2018-09-05)

1.Curator 从入门到实战
http://t.cn/RFX0HoV
2.论 Elasticsearch 数据建模的重要性
http://t.cn/RFOdWke
3.Elasticsearch 原理分析
http://t.cn/ReCN93k
 
​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下交流活动免费报名中
https://elasticsearch.cn/article/759
 
编辑:江水
归档:https://elasticsearch.cn/article/788
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.Curator 从入门到实战
http://t.cn/RFX0HoV
2.论 Elasticsearch 数据建模的重要性
http://t.cn/RFOdWke
3.Elasticsearch 原理分析
http://t.cn/ReCN93k
 
​活动预告
1、Elastic 中国开发者大会门票发售中
https://conf.elasticsearch.cn/2018/shenzhen.html
2、Elastic Meetup 9月8日 北京线下交流活动免费报名中
https://elasticsearch.cn/article/759
 
编辑:江水
归档:https://elasticsearch.cn/article/788
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

推荐kibana插件Cleaner 管理ES index TTL

Cleaner

这是一个管理index TTL 插件,精美UI,高效运维管理elasticsearch index助手

https://github.com/TrumanDu/cleaner

screenshots

config

  1. scheduleTime

    server job schedule period,unit second ,default value is 60 second.

    you can edit it. like: cleaner.scheduleTime: 100

  2. mergePattern

    merge pattern,default value is [^a-z]+$.

    you can edit it. like: cleaner.mergePattern: '[\d]{4}[-|\.|/][\d]{1,2}[-|\.|/][\d]{1,2}'

development

See the kibana contributing guide for instructions setting up your development environment. Once you have completed that, use the following npm tasks.

  • npm start

    Start kibana and have it include this plugin

  • npm start -- --config kibana.yml

    You can pass any argument that you would normally send to bin/kibana by putting them after -- when running npm start

  • npm run build

    Build a distributable archive

  • npm run test:browser

    Run the browser tests in a real web browser

  • npm run test:server

    Run the server tests using mocha

For more information about any of these commands run npm run ${task} -- --help.

继续阅读 »

Cleaner

这是一个管理index TTL 插件,精美UI,高效运维管理elasticsearch index助手

https://github.com/TrumanDu/cleaner

screenshots

config

  1. scheduleTime

    server job schedule period,unit second ,default value is 60 second.

    you can edit it. like: cleaner.scheduleTime: 100

  2. mergePattern

    merge pattern,default value is [^a-z]+$.

    you can edit it. like: cleaner.mergePattern: '[\d]{4}[-|\.|/][\d]{1,2}[-|\.|/][\d]{1,2}'

development

See the kibana contributing guide for instructions setting up your development environment. Once you have completed that, use the following npm tasks.

  • npm start

    Start kibana and have it include this plugin

  • npm start -- --config kibana.yml

    You can pass any argument that you would normally send to bin/kibana by putting them after -- when running npm start

  • npm run build

    Build a distributable archive

  • npm run test:browser

    Run the browser tests in a real web browser

  • npm run test:server

    Run the server tests using mocha

For more information about any of these commands run npm run ${task} -- --help.

收起阅读 »