即使是不成熟的尝试,也胜于胎死腹中的策略。

logstash输出到elasticsearch性能很差

Elasticsearch | 作者 Seven | 发布于2016年06月17日 | 阅读数:8720

十几个logstash节点输出到ES(3 data + 1 amaster)集群,logstash 只能保持在200+/sec,重启logstash后达到3000+ /sec, 然后几秒钟后回落到200+ /sec.
排除瓶颈在logstash,logstash output 为nil的时候能稳定在5000+ /sec。
设log为debug也看不到任何的index_indexing_slowlog.log 输出
版上大大能提供一些思路么?
PS:
ES version - 2.3.2-1, logstash output 到master 节点
 
分析了下logstash的thread dump, ES the output 都是wating, 最后定位是logstash的grok导致了ES output一直等待输入 :(
已邀请:

zhangrui90 - z

赞同来自:

单条数据长度如何,index mapping 是不是特别大

要回复问题请先登录注册