有个问题请教大家:
我在 logstash 中同步数据库中的数据到ES 集群,但是数据库中的数据会不定期进行更新,ES 中的_id 来自数据中的某个字段,
但是在logstash 的output 模块索引是按月来创建的
每词数据更新时都是针对当前最新的索引来做的操作
那有什么办法可以解决这个问题,logstash 同步更新时根据数据的所在索引更新
我在 logstash 中同步数据库中的数据到ES 集群,但是数据库中的数据会不定期进行更新,ES 中的_id 来自数据中的某个字段,
但是在logstash 的output 模块索引是按月来创建的
每词数据更新时都是针对当前最新的索引来做的操作
那有什么办法可以解决这个问题,logstash 同步更新时根据数据的所在索引更新
4 个回复
God_lockin
赞同来自:
bellengao - 博客: https://www.jianshu.com/u/e0088e3e2127
赞同来自:
ccsy
赞同来自:
rochy - rochy_he
赞同来自:
你可以使用 Date Filter 将创建日期格式化为需要的形式,然后将结果设置到 indexDate 字段;
这样即可实现覆盖的效果;记得设置 upsert 模式