用了Elasticsearch,一口气上5T

目前系统ES使用聚合很慢,但是业务需要怎么办。。。

匿名 | 发布于2017年12月11日 | 阅读数:3565

数据量8T文档
一个7天的查询要1分钟左右一个30天的查询要2-3分钟
 
已邀请:

bingyuf2012

赞同来自:

可以从数据获取时效性方面考虑,如果时效性要求不高的话,可以考虑加入缓存。

elisha - 80后 IT

赞同来自:

举个例子:(按省份聚合查询结果)"aggs": {
        "aggs_province": {
            "terms": {"field": "province","size":5}
        }
    }
 
ES默认聚合size是10(即最多显示聚合数量最多的10个省份),可以修改size,对性能会有所提升
 

mafa1993

赞同来自:

execution_hint的设置
collect_mode的设置
文档
https://www.elastic.co/guide/e ... -hint
分多次聚合, 而不是一次性全部聚合出来所有数据, 例如要省份的面积又要人数, 第一次只聚合面积, 第二次去聚合人数.
portition的设置, 分批聚合

要回复问题请先登录注册