elasticsearch数据分页导出导致 iowaittime 增加服务器报警问题
匿名 | 发布于2018年12月05日 | 阅读数:2384
业务场景:共享商城,es主要保存商品信息和订单信息,订单日增量2万条,用户搜索查询商品比较多。
软件版本:Elasticsearch 6.2.4
环境部署:三台阿里云服务器,配置 8核16GB SSD硬盘,一台作为数据节点和主节点,另外两台作为数据节点。现存数据90万个doc,占用3GB内存,集群配置如下图。
问题描述:我这边遇到性能问题,java API调用elasticsearch 查询接口,在用户量大的时候 ,分页导出数据,共计4万条每条4kb左右,一次全部导出其中一台就会报iowait time 报警服务器压力比较大,然后更新或者保存其它的document就会失败。经过多次优化只是提高了一些性能,不知道哪里还有可以优化的地方。
请问有没有遇到类似性能方面问题的同学,希望不吝赐教,非常感谢 !
软件版本:Elasticsearch 6.2.4
环境部署:三台阿里云服务器,配置 8核16GB SSD硬盘,一台作为数据节点和主节点,另外两台作为数据节点。现存数据90万个doc,占用3GB内存,集群配置如下图。
问题描述:我这边遇到性能问题,java API调用elasticsearch 查询接口,在用户量大的时候 ,分页导出数据,共计4万条每条4kb左右,一次全部导出其中一台就会报iowait time 报警服务器压力比较大,然后更新或者保存其它的document就会失败。经过多次优化只是提高了一些性能,不知道哪里还有可以优化的地方。
请问有没有遇到类似性能方面问题的同学,希望不吝赐教,非常感谢 !
2 个回复
rochy - rochy_he
赞同来自:
这个数据量还是推荐使用 scroll ,类似游标的方式导出数据
medcl - 今晚打老虎。
赞同来自: