身安不如心安,屋宽不如心宽 。

Elasticsearch连续写入索引?

Elasticsearch | 作者 qwefdrt | 发布于2018年06月05日 | 阅读数:2980

ES版本6.x,传到ElasticSearch的日志太分散了,导致写入索引的速度太慢(机械硬盘I/O速度只有30MB/s, 而磁盘压测时连续写入数据可以达到300MB/s)。请教,如何设置让es可以较连续的写入索引,或者有什么方法可以提高IO效率?
已邀请:

yayg2008

赞同来自: qwefdrt

不是日志太分散,而是同步translog磁盘IO太频繁,可以进行以下优化:idex.translog.sync_interval: 5s
index.translog.durability: async

bsll - ES认证考过咯,开心

赞同来自: qwefdrt

可以把日志写到队列,然后定时导入一波就好了啊。不过这样可能不是很实时了。或者控制写入程序,根据你的数据,累积到14-15mb再写入。

vearne - stay foolish stay hungry

赞同来自: qwefdrt

挂多块磁盘,可以显著的提升写入速度, 当然最好还是上SSD

要回复问题请先登录注册