使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

每天3T日志量,3台32核128G内存机器,8个es节点。es吞吐量量的问题。

Elasticsearch | 作者 juneryang | 发布于2017年10月10日 | 阅读数:4971

目前的优化是这样的:

es2.png


关闭_all字段:

es3.png

 
目前我的settings优化关于merge有什么问题吗?现在按照这个配置,es每隔一段时间就会对segments merge,这段时间es不能写入索引,最终导致filebeat日志报i/o timeout,导致发送效率过低,日志常有延迟。
 
各位大神有没有好的建议啊?
还有个问题:根据上面更新的配置,es集群删除索引并重启所有节点后配置还生效吗?
已邀请:

shjdwxy

赞同来自:

throttle设置的太小了吧
segments merge原理上并不会导致es不能写入

yangg

赞同来自:

是普通磁盘话,官方默认的throttle就够了应该,我觉得如果日志量大,ES日志延迟还是非常有可能的,如果中间加个存储介质比如kafka  是不是可以消除一点高峰时日志量太大而引起写入ES慢的问题? 
mapping对于重启后是生效的。

xiaoke - http://blog.51cto.com/kexiaoke

赞同来自:

mappings可一直直接删除,settings可以设置为空,例如设置了某个值为"600m",不要要这个设置了,直接这是为“”即可

要回复问题请先登录注册