Translog
elasticsearch translog恢复到一定百分比卡住(stuck),导致索引无法恢复
Elasticsearch • JiangJibo 回复了问题 • 4 人关注 • 4 个回复 • 4958 次浏览 • 2020-11-04 11:42
bulk/search请求阻塞 && elasticsarch translog无法恢复,卡在固定百分比
Elasticsearch • Charele 回复了问题 • 2 人关注 • 1 个回复 • 2922 次浏览 • 2020-07-19 16:08
如何手动触发translog的comit操作?
Elasticsearch • zqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2183 次浏览 • 2019-08-02 08:53
关于translog的疑问
Elasticsearch • zqc0512 回复了问题 • 6 人关注 • 3 个回复 • 2773 次浏览 • 2018-10-08 09:15
在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常
Elasticsearch • kennywu76 回复了问题 • 6 人关注 • 4 个回复 • 6429 次浏览 • 2018-08-29 16:33
请问flush translog处理逻辑中,uncommittedSizeOfNewCommit的含义究竟是什么?
回复Elasticsearch • zhuo 发起了问题 • 1 人关注 • 0 个回复 • 2047 次浏览 • 2018-05-23 17:07
Translog 安全性理解
Elasticsearch • kennywu76 回复了问题 • 3 人关注 • 2 个回复 • 6714 次浏览 • 2017-03-30 16:01
为了加速热索引的recovery, 6.x开始对于translog不再是flush以后立即清除,而是保留一定的大小,由以下两个参数控制:
index.translog.... 显示全部 »
为了加速热索引的recovery, 6.x开始对于translog不再是flush以后立即清除,而是保留一定的大小,由以下两个参数控制:
index.translog.retention.size #默认512mb
index.translog.retention.age #默认12h
保留一定量的translog的目的,是为了出现热索引recovery情况的时候,借助保留的translog和seqno (也是6.x引入的,记录已经提交到lucene的文档序列号), 可以免去跨结点的shard文件拷贝消耗,直接从translog快速恢复数据。
由于保留了一定时间的translog不清除,那么判断是否需要flush,以及flush的时候清除哪些文件的的条件就复杂了一些。需要比较哪些translog里的doc已经全部提交,哪些还未提交或者部分提交。 这些判断是通过比较translog里保留的seqno和local checkpoint记录的seqno来做出的。
但是这个特性实现上看起来有些bug,在一些极端场景造成了flush死循环。 官方尝试在6.1.3/6.2.0修复这个问题( pull/28350 ), 但问题并未真正解决。
在用户报告问题以后,官方又发布了6.2.4 ( pull/29125 ), 经过我们生产集群的验证,升级到6.2.4以后再未遇到类似的问题。
elasticsearch translog恢复到一定百分比卡住(stuck),导致索引无法恢复
回复Elasticsearch • JiangJibo 回复了问题 • 4 人关注 • 4 个回复 • 4958 次浏览 • 2020-11-04 11:42
bulk/search请求阻塞 && elasticsarch translog无法恢复,卡在固定百分比
回复Elasticsearch • Charele 回复了问题 • 2 人关注 • 1 个回复 • 2922 次浏览 • 2020-07-19 16:08
如何手动触发translog的comit操作?
回复Elasticsearch • zqc0512 回复了问题 • 3 人关注 • 1 个回复 • 2183 次浏览 • 2019-08-02 08:53
在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常
回复Elasticsearch • kennywu76 回复了问题 • 6 人关注 • 4 个回复 • 6429 次浏览 • 2018-08-29 16:33
请问flush translog处理逻辑中,uncommittedSizeOfNewCommit的含义究竟是什么?
回复Elasticsearch • zhuo 发起了问题 • 1 人关注 • 0 个回复 • 2047 次浏览 • 2018-05-23 17:07