ES版本:2.3.4 jdk1.7 单节点32G, 3个节点组成一个集群,采用G1机制
各位大大,最近我们某个ES集群总是会出现单个节点宕机的情况,一般宕机时间都是在凌晨,1天一次的样子!
查看ES的日志,但是没发现任何异常日志,包括慢查询都没有。只有ES刚启动的日志(运维做了一个监控脚本监控ES,发现ES进程不存在,则会立即启动ES), 后面以为可能是因为触发了oom killer(因为基本内存占用率在85%左右甚至更高), 但是去查看/var/log/message日志,都找不到oom相关的日志,最后只发现了在宕机时间点jvm生成的hs_err_pid.log日志(请见附件),感觉既不是程序的问题,也不是es的问题,更不是触发oom killer了,觉得很诡异啊!麻烦各位大大帮我分析一下原因,万分感谢!
各位大大,最近我们某个ES集群总是会出现单个节点宕机的情况,一般宕机时间都是在凌晨,1天一次的样子!
查看ES的日志,但是没发现任何异常日志,包括慢查询都没有。只有ES刚启动的日志(运维做了一个监控脚本监控ES,发现ES进程不存在,则会立即启动ES), 后面以为可能是因为触发了oom killer(因为基本内存占用率在85%左右甚至更高), 但是去查看/var/log/message日志,都找不到oom相关的日志,最后只发现了在宕机时间点jvm生成的hs_err_pid.log日志(请见附件),感觉既不是程序的问题,也不是es的问题,更不是触发oom killer了,觉得很诡异啊!麻烦各位大大帮我分析一下原因,万分感谢!
3 个回复
kennywu76 - Wood
赞同来自:
rockybean - Elastic Certified Engineer, ElasticStack Fans,公众号:ElasticTalk
赞同来自:
白衬衣 - 金桥
赞同来自: