无论才能、知识多么卓著,如果缺乏热情,则无异纸上画饼充饥,无补于事。

如何提高logstash传输效率

Logstash | 作者 helloworld1128 | 发布于2018年04月09日 | 阅读数:4573

ES集群有四个节点,使用logstash把大量连续不断产生的 JSON 文件(分布在不同目录下)导入ES。
运行logstash时,用的是 logstash -f confs_dir 参数, 其中confs_dir是存放配置文件的目录。导入速度约 3.5M 每秒, 赶不上 JSON 生产速度。
请问该如何提高导入效率。
已邀请:

xiaoke - http://blog.51cto.com/kexiaoke

赞同来自: helloworld1128

可以使用filebeat收集内容,传输到redis或者kafka,然后使用Logstash从队列里面取出数据,写入ES。在使用队列之后,可以使用多个Logstash侦听同一个队列,写入同一个ES集群。

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自:

1修改logstash堆内存
2配置文件里,一次传输文档数改大点
还有一点很重要,logstash最短时间间隔周期是1s 性能也得考虑这个因素

要回复问题请先登录注册