求助,java.lang.outofmemoryerror:java heap space问题!
Elasticsearch | 作者 jizhidecheng | 发布于2018年11月06日 | 阅读数:5189
昨天发现整个ES集群(所有节点)挂了,查看日志发现日志显示outofmemoryerror:java heap space。
通过手动方式重启ES,进行数据分片的恢复,恢复到19T左右,有个节点又内存溢出了,各位能否帮忙分析一下,感谢!!!数据量:20TB
ES版本:5.4.1
索引:40个
分片:10
副本:1
机器信息:32核,256G内存,4T*12硬盘+1T,万兆。
节点:10个
ES配置信息:只进行了内存的修改 32G
通过ES的Rest接口查看segment memory占用 30G左右/节点。每个节点2000多个segment
字段信息:字段是默认的text类型(这个类型下有一个field.keyword的子类型)
现在经常出现内存溢出的问题是已经达到ES 32G内存的处理极限了吗?现在每个节点只有大概2T的数据,硬盘还有和多的富余,有没有优化的方式?
感谢!
通过手动方式重启ES,进行数据分片的恢复,恢复到19T左右,有个节点又内存溢出了,各位能否帮忙分析一下,感谢!!!数据量:20TB
ES版本:5.4.1
索引:40个
分片:10
副本:1
机器信息:32核,256G内存,4T*12硬盘+1T,万兆。
节点:10个
ES配置信息:只进行了内存的修改 32G
通过ES的Rest接口查看segment memory占用 30G左右/节点。每个节点2000多个segment
字段信息:字段是默认的text类型(这个类型下有一个field.keyword的子类型)
现在经常出现内存溢出的问题是已经达到ES 32G内存的处理极限了吗?现在每个节点只有大概2T的数据,硬盘还有和多的富余,有没有优化的方式?
感谢!
2 个回复
Dapor
赞同来自:
2.单个shard 过大 可以考虑增加shard 或切索引
3.角色分配
4.优化mapping setting
------------------------
我也是新手...以上只是抛砖引玉
坐等大佬
zqc0512 - andy zhou
赞同来自:
不会搞 添加节点来得最快了……