你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

elasticsearch 索引太多太大会影响写入性能吗？

Elasticsearch | 作者 ww3mm4 | 发布于2018年02月26日 | 阅读数：8398

小弟使用filebeat+kafka+logstash+elasticsearch的模式收集log，现在log大约每天150g左右，kafka的消费速度非常慢，总是有大量log堆积，现在elasticsearch集群分布在5台机器上12核12g的机器，是哪里不对吗？

4 个回复

code4j - coder github: https://github.com/rpgmakervx

赞同来自: aslan

考虑优化索引结构，不需要索引的就设置 index:no，取消 _all，降低merge refresh, id使用自动生成等等。

不过还是要看下瓶颈在哪里，io的话，就上ssd, cpu的话看下热点线程，优化完还不行就升级机器配置

laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net

1,确认下现在kafka怎么写入es的？优化思路1：加大并行消费进程的个数。
思路2,es线程池部分优化，堆内存优化，

weizijun - elasticsearch fan

关键还是单个shard太大会影响写入

当前写入速度如何？

要回复问题请先登录或注册