高峰只对攀登它而不是仰望它的人来说才有真正意义。

求助,java.lang.outofmemoryerror:java heap space问题!

Elasticsearch | 作者 jizhidecheng | 发布于2018年11月06日 | 阅读数:5189

昨天发现整个ES集群(所有节点)挂了,查看日志发现日志显示outofmemoryerror:java heap space。
通过手动方式重启ES,进行数据分片的恢复,恢复到19T左右,有个节点又内存溢出了,各位能否帮忙分析一下,感谢!!!数据量:20TB
ES版本:5.4.1
索引:40个
分片:10
副本:1
机器信息:32核,256G内存,4T*12硬盘+1T,万兆。
节点:10个
ES配置信息:只进行了内存的修改 32G
 
通过ES的Rest接口查看segment memory占用 30G左右/节点。每个节点2000多个segment
字段信息:字段是默认的text类型(这个类型下有一个field.keyword的子类型)
 
现在经常出现内存溢出的问题是已经达到ES 32G内存的处理极限了吗?现在每个节点只有大概2T的数据,硬盘还有和多的富余,有没有优化的方式?
感谢!
 
 
已邀请:

Dapor

赞同来自:

1.尝试合并段
2.单个shard 过大 可以考虑增加shard 或切索引
3.角色分配
4.优化mapping setting 
------------------------
我也是新手...以上只是抛砖引玉
坐等大佬

zqc0512 - andy zhou

赞同来自:

segment 来得快,31G
不会搞 添加节点来得最快了……

要回复问题请先登录注册