目前在测试环境进行部署,但遇到一个问题,经常在启动后过几天发现数据都堆在metrics_requests这个queue里面,然后消费线程好像是遇到报错后不会恢复,所以数据一直堆积直到下一次重启后,逐步开始消费这个queue。
检查日志,发现有如下两行:
[ERR][bulk_processor.go:334] status:0,xx.xx.xx.xx:9200,timeout
[ERR][bulk_indexing.go:447]error in bulk_indexing worker[xxxxxx],queue:[xxxxxx],slice:[0],offset:[868,89843737]->[868,93625852],queue:metrics_requests,slice_id:0,error between offset [868,89843737]-[868,93625852],err:timeout
上面报的timeout有点懵,因为console与es的一节部署在一个节点上,目前metric数据保存在一个包含1个主分片和副本分片的索引里面,节点数2个,单台硬盘100G,目前metric索引单分片30G
检查日志,发现有如下两行:
[ERR][bulk_processor.go:334] status:0,xx.xx.xx.xx:9200,timeout
[ERR][bulk_indexing.go:447]error in bulk_indexing worker[xxxxxx],queue:[xxxxxx],slice:[0],offset:[868,89843737]->[868,93625852],queue:metrics_requests,slice_id:0,error between offset [868,89843737]-[868,93625852],err:timeout
上面报的timeout有点懵,因为console与es的一节部署在一个节点上,目前metric数据保存在一个包含1个主分片和副本分片的索引里面,节点数2个,单台硬盘100G,目前metric索引单分片30G
3 个回复
liugq
赞同来自: w455091555
这个配置设置为 true 的时候,会优先将一些持久化的数据存到 ES, 当 ES 出问题, 调用 ES API 读取数据的时候出现异常,由于这块细节没有处理好,导致的这个问题(我们会尽快修复这个问题)。把这个配置 设置为 false,持久化的数据会存到本地磁盘。
liaosy - 80后IT男
赞同来自:
medcl - 今晚打老虎。
赞同来自: