用了Elasticsearch,一口气上5T

ElasticTalk 第一期来袭!使用 ElasticStack 收集分析 Nginx 日志

今天正式启动 ElasticTalk 的活动,旨在通过线上直播的方式和大家交流 elastic 产品相关的知识。 第一期将于本周四(11月30日)晚8点在线直播,主题为使用 ElasticStack 收集和分析 Nginx 日志。感兴趣的同学可以加群讨论!

elastic_tips.001.jpeg

继续阅读 »

今天正式启动 ElasticTalk 的活动,旨在通过线上直播的方式和大家交流 elastic 产品相关的知识。 第一期将于本周四(11月30日)晚8点在线直播,主题为使用 ElasticStack 收集和分析 Nginx 日志。感兴趣的同学可以加群讨论!

elastic_tips.001.jpeg

收起阅读 »

社区日报 第113期 (2017-11-27)

1.使用es作为存储的调用链跟踪系统,开箱即用。
http://t.cn/RqbXsDC

2.为什么es会出现bluk拒绝错误?来听听老司机的解析
http://t.cn/RY5BJy7

3.来自社区的讨论:如何使用es来作为一个主数据库
http://t.cn/RY5rPuA 

编辑:cyberdak
归档:https://elasticsearch.cn/article/397
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.使用es作为存储的调用链跟踪系统,开箱即用。
http://t.cn/RqbXsDC

2.为什么es会出现bluk拒绝错误?来听听老司机的解析
http://t.cn/RY5BJy7

3.来自社区的讨论:如何使用es来作为一个主数据库
http://t.cn/RY5rPuA 

编辑:cyberdak
归档:https://elasticsearch.cn/article/397
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

搜索引擎的 ORM 库 bboss-elastic

bboss elasticsearch是一套基于query dsl语法操作和访问分布式搜索引擎elasticsearch的o/r mapping高性能开发库,底层基于es restful api。基于bboss elasticsearch,可以快速编写出访问和操作elasticsearch的程序代码,简单、高效、可靠、安全。

    bboss elasticsearch以类似于mybatis的方式,使用xml文件管理elasticsearch的query dsl脚本,在query dsl脚本中可以使用变量、foreach循环、逻辑判断;配置文件支持在线修改、自动热加载,开发和调试非常方便。

bboss-elastic特色:

采用类似于mybatis的方式配置语法配置和管理访问es的qsl脚本,简洁而直观,支持配置文件热加载功能;提供丰富的逻辑判断语法;支持qsl脚本片段和片段引用功能

提供创建和查询索引表配置模板api;提供创建和查询索引表api;提供索引文档创建、修改、删除、获取基本功能;提供索引文档批量创建、批量修改、批量删除api

支持获取索引文档字段元数据

提供简洁易用的全文检索api,聚合检索和统计api;支持o/mapping功能,支持检索和聚合查询结果快速转换为java对象或者java对象列表;支持分页检索功能和关键词高亮显示;支持多索引表查询;提供检索和聚合查询结果的回调处理接口,可以自定义结果封装处理逻辑。

支持关键字自动联想和自动纠错的api

提供客户端的es rest集群负载均衡和容灾恢复机制,高效可靠

支持基于X-Pack的客户端安全认证机制

除了提供高价的o/r mapping API,还提供了简单易用的原生restful api和基于tcp的Transport api,可以根据实际需要使用合适的API  

ClientUtil组件可以指定elasticsearch服务器,支持在指定的elasticsearch服务器集群进行操作

Demo应用:https://gitee.com/bboss/elasticsearchdemo

bboss elasticsearch开发库使用文档:

https://my.oschina.net/bboss/blog/1556866

bboss与es官方客户端的对比:https://my.oschina.net/bboss/blog/1574927

bboss elasticsearch技术交流群:166471282

bboss elasticsearch微信公众号:bbossgroups

qrcode_for_gh_3118165c1e87_860.jpg


 
继续阅读 »
bboss elasticsearch是一套基于query dsl语法操作和访问分布式搜索引擎elasticsearch的o/r mapping高性能开发库,底层基于es restful api。基于bboss elasticsearch,可以快速编写出访问和操作elasticsearch的程序代码,简单、高效、可靠、安全。

    bboss elasticsearch以类似于mybatis的方式,使用xml文件管理elasticsearch的query dsl脚本,在query dsl脚本中可以使用变量、foreach循环、逻辑判断;配置文件支持在线修改、自动热加载,开发和调试非常方便。

bboss-elastic特色:

采用类似于mybatis的方式配置语法配置和管理访问es的qsl脚本,简洁而直观,支持配置文件热加载功能;提供丰富的逻辑判断语法;支持qsl脚本片段和片段引用功能

提供创建和查询索引表配置模板api;提供创建和查询索引表api;提供索引文档创建、修改、删除、获取基本功能;提供索引文档批量创建、批量修改、批量删除api

支持获取索引文档字段元数据

提供简洁易用的全文检索api,聚合检索和统计api;支持o/mapping功能,支持检索和聚合查询结果快速转换为java对象或者java对象列表;支持分页检索功能和关键词高亮显示;支持多索引表查询;提供检索和聚合查询结果的回调处理接口,可以自定义结果封装处理逻辑。

支持关键字自动联想和自动纠错的api

提供客户端的es rest集群负载均衡和容灾恢复机制,高效可靠

支持基于X-Pack的客户端安全认证机制

除了提供高价的o/r mapping API,还提供了简单易用的原生restful api和基于tcp的Transport api,可以根据实际需要使用合适的API  

ClientUtil组件可以指定elasticsearch服务器,支持在指定的elasticsearch服务器集群进行操作

Demo应用:https://gitee.com/bboss/elasticsearchdemo

bboss elasticsearch开发库使用文档:

https://my.oschina.net/bboss/blog/1556866

bboss与es官方客户端的对比:https://my.oschina.net/bboss/blog/1574927

bboss elasticsearch技术交流群:166471282

bboss elasticsearch微信公众号:bbossgroups

qrcode_for_gh_3118165c1e87_860.jpg


  收起阅读 »

社区日报 第112期 (2017-11-26)

1.关于父子关系的聚合。
http://t.cn/RYbseNx
2.Nodejs作为Elasticsearch客户端的高级方法和概念。
http://t.cn/RYGhGA5
3.(自备梯子)来自十九岁美女码农的建议
http://t.cn/RYUSrp5

编辑:至尊宝
归档:https://elasticsearch.cn/article/395
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.关于父子关系的聚合。
http://t.cn/RYbseNx
2.Nodejs作为Elasticsearch客户端的高级方法和概念。
http://t.cn/RYGhGA5
3.(自备梯子)来自十九岁美女码农的建议
http://t.cn/RYUSrp5

编辑:至尊宝
归档:https://elasticsearch.cn/article/395
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第111期 (2017-11-25)

1. 《深入理解Elasticsearch》读书笔记
http://t.cn/RY4sK7O 
2. 搭建 Elastic Stack 日志系统
http://t.cn/RYbhUJi
3. Elasticsearch 集群健康值红色终极解决方案
http://t.cn/RY4sk3v
 
编辑:江水
归档:https://elasticsearch.cn/publish/article/394 
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1. 《深入理解Elasticsearch》读书笔记
http://t.cn/RY4sK7O 
2. 搭建 Elastic Stack 日志系统
http://t.cn/RYbhUJi
3. Elasticsearch 集群健康值红色终极解决方案
http://t.cn/RY4sk3v
 
编辑:江水
归档:https://elasticsearch.cn/publish/article/394 
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

【北京,杭州】支付宝中间件招ES相关搜索工程师

工作地点:北京、杭州

负责蚂蚁中间件搜索产品线的核心研发工作, 能够根据产品的需求, 设计相应的技术方案。参与搜索产品各个功能模块的设计和实现, 构建高可靠性、高可扩展性的体系结构,满足日趋复杂的业务需求;
 
岗位要求:
 
1.3年以上搜索平台研发经验,具备扎实的计算机理论基础, 对数据结构及算法有较强的功底,对搜索引擎底层有较为深刻的了解
2.精通Java语言编程,具备优秀的系统Debug/Profiling能力和经验 
3.熟悉常见的面向对象设计模式,具备优秀的系统架构设计能力 
4.熟悉Hadoop/HBase/Spark/Storm/Kafka等开源技术,在开源社区活跃者优先 

 
继续阅读 »
工作地点:北京、杭州

负责蚂蚁中间件搜索产品线的核心研发工作, 能够根据产品的需求, 设计相应的技术方案。参与搜索产品各个功能模块的设计和实现, 构建高可靠性、高可扩展性的体系结构,满足日趋复杂的业务需求;
 
岗位要求:
 
1.3年以上搜索平台研发经验,具备扎实的计算机理论基础, 对数据结构及算法有较强的功底,对搜索引擎底层有较为深刻的了解
2.精通Java语言编程,具备优秀的系统Debug/Profiling能力和经验 
3.熟悉常见的面向对象设计模式,具备优秀的系统架构设计能力 
4.熟悉Hadoop/HBase/Spark/Storm/Kafka等开源技术,在开源社区活跃者优先 

  收起阅读 »

社区日报 第110期 (2017-11-24)

1、Elasticsearch要升级到6.0,先滚动升级5.X!
http://t.cn/RYzDIQw
2、ES冷热数据分离实践
http://t.cn/RjeBOfl
3、ELK搭建GPE监控预警系统
http://t.cn/RYzDusL 

编辑:laoyang360
归档:https://elasticsearch.cn/article/392
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1、Elasticsearch要升级到6.0,先滚动升级5.X!
http://t.cn/RYzDIQw
2、ES冷热数据分离实践
http://t.cn/RjeBOfl
3、ELK搭建GPE监控预警系统
http://t.cn/RYzDusL 

编辑:laoyang360
归档:https://elasticsearch.cn/article/392
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第109期 (2017-11-23)

1.基于word2vec和Elasticsearch实现个性化搜索
http://t.cn/R6SGWTP
2.一个数据精度引发的血案
http://t.cn/RY75Xu8
3.关于Elasticsearch部署中的内存注意事项
http://t.cn/RY75Oy6

编辑:金桥
归档:https://elasticsearch.cn/article/391
订阅:https://tinyletter.com/elastic-daily  
继续阅读 »
1.基于word2vec和Elasticsearch实现个性化搜索
http://t.cn/R6SGWTP
2.一个数据精度引发的血案
http://t.cn/RY75Xu8
3.关于Elasticsearch部署中的内存注意事项
http://t.cn/RY75Oy6

编辑:金桥
归档:https://elasticsearch.cn/article/391
订阅:https://tinyletter.com/elastic-daily   收起阅读 »

社区日报 第108期 (2017-11-22)

1.Elasticsearch中文分词插件IK安装、使用
http://t.cn/RYPBZVw 
2.如何使用Elastic APM
http://t.cn/RYPrtHJ
3.理解Elasticsearch缓存从下面开始
http://t.cn/RYh7cbu
 
编辑:wt
归档:https://elasticsearch.cn/article/390
订阅:https://tinyletter.com/elastic-daily  
继续阅读 »
1.Elasticsearch中文分词插件IK安装、使用
http://t.cn/RYPBZVw 
2.如何使用Elastic APM
http://t.cn/RYPrtHJ
3.理解Elasticsearch缓存从下面开始
http://t.cn/RYh7cbu
 
编辑:wt
归档:https://elasticsearch.cn/article/390
订阅:https://tinyletter.com/elastic-daily   收起阅读 »

社区日报 第107期 (2017-11-21)

1.去哪儿网OPS团队基于Mesos/Docker构建的Elasticsearch容器化私有云。
http://t.cn/RjdGkzi 
2.图文详解如何部署一套线上的高商用ELK集群。
http://t.cn/RjdbuAb 
3.使用ELK处理OSS访问日志详解。
http://t.cn/RjecYmf 
 
编辑:叮咚光军
归档:https://elasticsearch.cn/article/389 
订阅:https://tinyletter.com/elastic-daily  
 
继续阅读 »
1.去哪儿网OPS团队基于Mesos/Docker构建的Elasticsearch容器化私有云。
http://t.cn/RjdGkzi 
2.图文详解如何部署一套线上的高商用ELK集群。
http://t.cn/RjdbuAb 
3.使用ELK处理OSS访问日志详解。
http://t.cn/RjecYmf 
 
编辑:叮咚光军
归档:https://elasticsearch.cn/article/389 
订阅:https://tinyletter.com/elastic-daily  
  收起阅读 »

请问一下 集群的 heap总是不平均 这是不是有问题呢

如题:
在日常使用中 
即使没有负载的情况下
es集群的各个机器的Heap总是相差比较大
请问这是不是有问题
如题:
在日常使用中 
即使没有负载的情况下
es集群的各个机器的Heap总是相差比较大
请问这是不是有问题

社区日报 第106期 (2017-11-20)

1.elasticsearch URL分词器,帮你更好解决URL搜索难题。
http://t.cn/RjualK1

2.来看看logstash 6.0令人激动的改进:可视化、性能分析以及多管道支持。
http://t.cn/RjuoRuT

3.深入理解直方图
http://t.cn/RKgkOo1 

编辑:cyberdak
归档:https://elasticsearch.cn/article/387
订阅:https://tinyletter.com/elastic-daily
 
继续阅读 »
1.elasticsearch URL分词器,帮你更好解决URL搜索难题。
http://t.cn/RjualK1

2.来看看logstash 6.0令人激动的改进:可视化、性能分析以及多管道支持。
http://t.cn/RjuoRuT

3.深入理解直方图
http://t.cn/RKgkOo1 

编辑:cyberdak
归档:https://elasticsearch.cn/article/387
订阅:https://tinyletter.com/elastic-daily
  收起阅读 »

社区日报 第105期 (2017-11-19)

1.Mapper attachment,快速且强大的PDF索引查询插件。
http://t.cn/RjQuE5x
2.深入理解cluster allocation API,准确找到shard未正确分配的原因。
http://t.cn/RlrzTsD
3.(自备梯子)项目经理和程序猿如何能够愉快的达成一致的项目周期
http://t.cn/RjQueTd

编辑:至尊宝
归档:https://elasticsearch.cn/article/386
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1.Mapper attachment,快速且强大的PDF索引查询插件。
http://t.cn/RjQuE5x
2.深入理解cluster allocation API,准确找到shard未正确分配的原因。
http://t.cn/RlrzTsD
3.(自备梯子)项目经理和程序猿如何能够愉快的达成一致的项目周期
http://t.cn/RjQueTd

编辑:至尊宝
归档:https://elasticsearch.cn/article/386
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第104期 (2017-11-18)

1、使用IP2Location插件过滤位置数据
http://t.cn/RjOc0Rh
2、ES6.0只支持单个mapping type了
http://t.cn/RjOgAPZ
3、利用haystack库,用python对ES进行索引和查询操作
http://t.cn/RjO9yvi
4、只等你来 | Elastic Meetup 广州交流会
https://elasticsearch.cn/article/364

编辑:bsll
归档:https://elasticsearch.cn/article/385
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、使用IP2Location插件过滤位置数据
http://t.cn/RjOc0Rh
2、ES6.0只支持单个mapping type了
http://t.cn/RjOgAPZ
3、利用haystack库,用python对ES进行索引和查询操作
http://t.cn/RjO9yvi
4、只等你来 | Elastic Meetup 广州交流会
https://elasticsearch.cn/article/364

编辑:bsll
归档:https://elasticsearch.cn/article/385
订阅:https://tinyletter.com/elastic-daily 收起阅读 »

社区日报 第103期 (2017-11-17)

1、揭秘 | 影响Elasticsearch存储的关键因素
http://t.cn/RS2kgfB
2、索引膨胀的原因大讨论
http://t.cn/RjxtXPs
3、旧闻新读 | IK分词作者林良益访谈实录
http://t.cn/RjomL5I
4、只等你来 | Elastic Meetup 广州交流会
https://elasticsearch.cn/article/364

编辑:laoyang360
归档:https://elasticsearch.cn/article/384
订阅:https://tinyletter.com/elastic-daily
继续阅读 »
1、揭秘 | 影响Elasticsearch存储的关键因素
http://t.cn/RS2kgfB
2、索引膨胀的原因大讨论
http://t.cn/RjxtXPs
3、旧闻新读 | IK分词作者林良益访谈实录
http://t.cn/RjomL5I
4、只等你来 | Elastic Meetup 广州交流会
https://elasticsearch.cn/article/364

编辑:laoyang360
归档:https://elasticsearch.cn/article/384
订阅:https://tinyletter.com/elastic-daily 收起阅读 »