用了Elasticsearch,一口气上5T

使用es事大家都是如何清除历史数据的

Elasticsearch | 作者 siyuan494 | 发布于2017年11月06日 | 阅读数:20390

利用es存储调用链的数据,由于历史数据可以删除,所以想分日期来存储索引。
但是发现es更新时不支持通配符,所以这种方案看来是废了.........
 
表中还有一个时间戳字段,但是由于数据量太大(估计1小时有上亿条数据),担心按时间范围删除由于效率太低不能实现(不清楚实现的可能性,不清楚这样操作到底需要多长时间)
 
大家使用es时都是怎么清除历史数据的???
已邀请:

liuyt123

赞同来自:

我就是在index上加时间搞定的。。。。。可以统配啊
GET  cl_user_daily_*/cl_user/_search
GET  cl_user_daily_20171105/cl_user/_search
以上两种写法都可以的

truman.p.du

赞同来自:

这个没关系的,不用担心效率,但是要采用对的方法。
 
官方推荐两个做法:
  1. 按索引删除(索引按时间生成)
  2. 使用删除API Delete By Query APIPOST twitter/_delete_by_query { "query": { "match": { "message": "some message" } } }详见API

要回复问题请先登录注册