集群是5.4.2版本的,18个节点,每个节点64个核,每次到了晚上业务量增长的时候load非常高,导致很多业务执行很慢。
观察了下热点线程主要再Lucene merge,因为所以按时间做了拆分,所以merge都是集中在正在写的索引上,索引平均800G一个,分片40-50G 一个,索引有关merge的配置使用的都是默认的没做过多配置。
看了下segment的大小,最大在5G以内,最小的几百kb,热索引始终维持2000个segment左右(冷索引1200以内)。
情况大概就是这样了,感觉应该控制写时候merge的频率,但是转念一想索引按天拆分,如果merge次数太少可能会产生大量分段读效率又很低。
求大神们支招。
观察了下热点线程主要再Lucene merge,因为所以按时间做了拆分,所以merge都是集中在正在写的索引上,索引平均800G一个,分片40-50G 一个,索引有关merge的配置使用的都是默认的没做过多配置。
看了下segment的大小,最大在5G以内,最小的几百kb,热索引始终维持2000个segment左右(冷索引1200以内)。
情况大概就是这样了,感觉应该控制写时候merge的频率,但是转念一想索引按天拆分,如果merge次数太少可能会产生大量分段读效率又很低。
求大神们支招。
2 个回复
王庆焕 - https://discuss.elastic.co/u/wangqinghuan/
赞同来自:
unilke
赞同来自: