在我们的es集群(v1.6.2)中一个index在每次写入的时候,能观察到这份数据使用的index buffer达到20G+,见图
因为这份数据是一份离线计算数据,所以量级不大,一天的量级也不会超过3G,下图为2月20日的量级
一小时一次的写入量大概在50w行左右。
现在由于这份数据的写入,导致集群定时GC严重。由于这份数据是一个1小时1次离线计算数据,理论上如果有异常每小时都会,但是从现在看不一定每个小时的写入都会有这种情况。而且其他index不会,就这个index会有这种情况。
实在查不出问题,有遇到过相同的问题的吗?
附上template setting
因为这份数据是一份离线计算数据,所以量级不大,一天的量级也不会超过3G,下图为2月20日的量级
一小时一次的写入量大概在50w行左右。
现在由于这份数据的写入,导致集群定时GC严重。由于这份数据是一个1小时1次离线计算数据,理论上如果有异常每小时都会,但是从现在看不一定每个小时的写入都会有这种情况。而且其他index不会,就这个index会有这种情况。
实在查不出问题,有遇到过相同的问题的吗?
附上template setting
"settings": {
"index.refresh_interval": "20s",
"index.replication": "async",
"index.translog.durability": "async",
"index.number_of_replicas": "1",
"index.routing.allocation.require.tag": "hot",
"index.number_of_shards": "4",
"index.translog.sync_interval": "10s"
}
1 个回复
Charele - Cisco4321
赞同来自: