十几个logstash节点输出到ES(3 data + 1 amaster)集群,logstash 只能保持在200+/sec,重启logstash后达到3000+ /sec, 然后几秒钟后回落到200+ /sec.
排除瓶颈在logstash,logstash output 为nil的时候能稳定在5000+ /sec。
设log为debug也看不到任何的index_indexing_slowlog.log 输出
版上大大能提供一些思路么?
PS:
ES version - 2.3.2-1, logstash output 到master 节点
分析了下logstash的thread dump, ES the output 都是wating, 最后定位是logstash的grok导致了ES output一直等待输入 :(
排除瓶颈在logstash,logstash output 为nil的时候能稳定在5000+ /sec。
设log为debug也看不到任何的index_indexing_slowlog.log 输出
版上大大能提供一些思路么?
PS:
ES version - 2.3.2-1, logstash output 到master 节点
分析了下logstash的thread dump, ES the output 都是wating, 最后定位是logstash的grok导致了ES output一直等待输入 :(
1 个回复
zhangrui90 - z
赞同来自: