身安不如心安,屋宽不如心宽 。

跨多个月存储索引数据的冷热数据分离如何实现?

Elasticsearch | 作者 caoweixiong | 发布于2019年12月02日 | 阅读数:3030

有个问题请教一下,我用elasticsearch存订单数据,在热节点保存3个月前的数据(用一个索引),在冷节点保存3个月后的数据(用一个索引),数据会先持续写入热节点。目前找到的冷热数据分离方案,都是基于按时间序列建多个hot索引(比如1天1个索引),过了几天后在把整个索引放入冷节点。
而我的业务场景是只有一个hot索引,要把里面的数据按条件定时迁移到另外一个索引,因为业务要求能跨3个月或整年查数据,请问大家有什么好的建议吗? 或者说我这个思路行不通啊?? 谢谢。
我现在想到的初步方案是:通过JAVA API每天定时轮循从热节点查出来在写入冷节点。但感觉这个方法不好,如有好的建议请指导一下,谢谢。
 
已邀请:

kennywu76 - Wood

赞同来自: laoyang360 ziyou caoweixiong famoss

每天从热节点查出来写入冷节点这方案不靠谱,开销太高了。  你就根据单日订单量的大小,一天一个索引,或者一个月一个索引的方式来建就好了,最经济易维护的冷热数据分离方案。 因为搜索是可以跨多个索引的,所以这种建索引的方式可以满足业务上要求跨3隔越或者跨整年查询。  
 
 

要回复问题请先登录注册