ES集群有四个节点,使用logstash把大量连续不断产生的 JSON 文件(分布在不同目录下)导入ES。
运行logstash时,用的是 logstash -f confs_dir 参数, 其中confs_dir是存放配置文件的目录。导入速度约 3.5M 每秒, 赶不上 JSON 生产速度。
请问该如何提高导入效率。
运行logstash时,用的是 logstash -f confs_dir 参数, 其中confs_dir是存放配置文件的目录。导入速度约 3.5M 每秒, 赶不上 JSON 生产速度。
请问该如何提高导入效率。
2 个回复
xiaoke - http://blog.51cto.com/kexiaoke
赞同来自: helloworld1128
laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net
赞同来自:
2配置文件里,一次传输文档数改大点
还有一点很重要,logstash最短时间间隔周期是1s 性能也得考虑这个因素