三人行必有我师

请问elasticsearch aggregation如何实现分页啊?

Elasticsearch | 作者 Yu Tao | 发布于2018年09月27日 | 阅读数:4265

请问一下大家,请问elasticsearch aggregation如何实现分页啊?
 
因为我的基础数据量比较庞大,但是业务上面需要对数据进行group by的操作,然后我尝试使用了 aggregation DSL进行查询 速度很快,可是问题来了。 
 
1. max.buckets是不充许超过1万条记录,但是我的数据已经远远大于1万条了。
2. 普通的 aggregation是没有分页的。 里面只有size,没有from
3, 我尝试了 compostie DSL,也是有同样的问题,虽然可以有方法实现分页,但是不能上一页,只有下一页的数据
 
所以,请问一下大家,如何遇到大数据量的聚合查询,大家是怎么做分页的呢?
已邀请:

weizijun - elasticsearch fan

赞同来自:

聚合的bucket比较大的话,内存会溢出的,估计这也是aggregation不支持分页的原因吧,如果from过大的话,需要把from+size个bucket在clientnode计算,无论是datanode还是clientnode压力都不小

要回复问题请先登录注册