你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
发现
分享
文章
活动
登录
有个人长的像洋葱,走着走着就哭了…….
es 导致机器挂了
Elasticsearch
| 作者
beihaizai
| 发布于2016年08月23日 | 阅读数:
5926
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
装了一个es小集群,总共有两台机器,千兆网络,每个es进程内存为32g,进程最大打开文件数是65535,655360.
但大规模查询时,或者插入数据格式有问题时(比如时间格式),最后会导致机器挂了,不知道有没有哪位朋友遇到过这个问题没。
没有找到相关结果
已邀请:
与内容相关的链接
提交
2 个回复
medcl
-
今晚打老虎。
赞同来自:
异常会严重影响性能,尽量在插入数据的时候检验下格式
yqcute
赞同来自:
请问你的es的版本是什么?机器弄挂具体是什么情况呢?内存吃满了,还是cpu被占用了没有被释放? 可以详细描述一下。
Es本身自带动态映射功能。在最新的es版本里面2.3.5里面,对于日期和数字的自动转化默认是打开的
当数据第一次进入es的时候,如果符合默认日期格式或者数字格式,则字段会被定义成对应的格式。字段类型被定义后,如果之后的数据格式不符合定义的话,es则会报错,返回错误信息,并且写对应的日志。但是可以确定,es或者说系统不会因为数据格式问题挂掉。
个人有一种猜测:
比如当格式被定义为日期类型后,接下来的数据大部分是不符合es的字段定义。则此时es会捕捉异常,并进行后续操作(如写日志)。这时候,如果大批量的数据插入都会报异常的话,则这时系统就会占用io和cpu进行后续处理。如果数量太大,可能导致cpu和内存跑满。导致系统卡住,以致挂掉。
所以,需要知道你系统挂掉是因为什么原因? 但是,可以肯定的是,如果单纯的数据格式不对,是不会导致系统挂掉的。有可能是格式转换异常,带来的资源消耗。导致的连带问题。
but,纯属猜测,需有日志才能确定原因。
要回复问题请先
登录
或
注册
发起人
beihaizai
活动推荐
Aug
15
2025 Zabbix 中国峰会
上海
·
8-15 周五
·
报名中
Oct
17
第27届 GOPS 全球运维大会暨研运数智化技术峰会 · 上海站
上海
·
10-17 周五
·
报名中
相关问题
bulk update 重复的文档id 导致更新性能下降?
关于单个机器分片数容量问题
15台机器,日志量200G左右,集群规模多大合适?
elasticsearch 批量删除 导致使用磁盘容量上升
docs.count与hits.total数值不一致,是什么原因导致
在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常
elasticsearch搜索大文档时highlight导致CPU占满
ES 查询的id太多导致es报错
某个节点线程池爆了,导致整个服务响应很慢
有10台机器构成一个集群,其中一个index,需要指定在第1-5台创建shard
es6.1中弃用了preference=_primary,那如何解决主副本数据不一致导致同一个搜索结果不同的问题
问题状态
最新活动:
2016-08-25 23:17
浏览:
5926
关注:
4
人
2 个回复
medcl - 今晚打老虎。
赞同来自:
yqcute
赞同来自:
Es本身自带动态映射功能。在最新的es版本里面2.3.5里面,对于日期和数字的自动转化默认是打开的
当数据第一次进入es的时候,如果符合默认日期格式或者数字格式,则字段会被定义成对应的格式。字段类型被定义后,如果之后的数据格式不符合定义的话,es则会报错,返回错误信息,并且写对应的日志。但是可以确定,es或者说系统不会因为数据格式问题挂掉。
个人有一种猜测:
比如当格式被定义为日期类型后,接下来的数据大部分是不符合es的字段定义。则此时es会捕捉异常,并进行后续操作(如写日志)。这时候,如果大批量的数据插入都会报异常的话,则这时系统就会占用io和cpu进行后续处理。如果数量太大,可能导致cpu和内存跑满。导致系统卡住,以致挂掉。
所以,需要知道你系统挂掉是因为什么原因? 但是,可以肯定的是,如果单纯的数据格式不对,是不会导致系统挂掉的。有可能是格式转换异常,带来的资源消耗。导致的连带问题。
but,纯属猜测,需有日志才能确定原因。