使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

ES查询功能上线,导致线程dump,有什么好的方法优化?

Elasticsearch | 作者 yangchunchun | 发布于2019年10月31日 | 阅读数:1543

ES查询功能上线,导致线程dump,好多线程挂起,有什么好的方法优化?
已邀请:

kepmoving - 90后

赞同来自:

你至少把集群配置,什么查询,量级发出来,不然人家怎么回答你
匿名用户

匿名用户

赞同来自:

 ES是需要非常强大的硬件环境支持,如果硬件不够,基本就是demo的演示。
 
ES是高消耗内存,高消耗cpu,高消耗磁盘空间的一款开源全文检索引擎,它不是神,它的最适合的场景是全文检索。
 
cpu核心数越多,对查询来说越好,如果有可能,最好采用40core cpu的 物理机
 
内存越大越好,最好是64GB物理内存,如果有可能,一台40core 64gb内存的服务器,最大存储数据量在5TB左右。
 
硬盘空间要合理,最好是储存数据的3.4倍(参考阿里的算法),假如存储5TB的数据,磁盘空间最好是15TB左右。最大不要超过20TB。
 
按照经验,当128GB内存,分配给es64gb堆内存时,存储的数据上限是15TB(最好不要超过10TB),否则出现各种问题,尤其是内存full gc。
 
 

要回复问题请先登录注册