有个人长的像洋葱,走着走着就哭了…….

Kibana 创建、更新object操作非常慢

Kibana | 作者 wayne | 发布于2021年02月23日 | 阅读数:2312

1、问题描述:ELK 7.9.3,在kibana页面创建或更新search对象时非常慢,一次save操作耗时在20s以上,
从KONG日志看,慢请求主要集中在POST /api/ui_metric/report
2、从KONG日志截图如下,图中耗时单位是秒

kibana-slow1.png


3、排查过程:
1.排除ES存储端慢查询导致,实时抓取并统计ES slowlog,在对应时间点并未发现有慢查询日志产生;
2.基本排除网络链路的问题。
已邀请:

wayne - 90后 IT 开源中间件

赞同来自: BKing

1、上面问题已解决;
2、导致kibana save object慢的原因是ES 系统索引.kibana settings refresh_interval参数被修改成50s,改回1s后,kibana save object、create index pattern、save visual等涉及到object更新的操作均很快,问题到此基本解决;
3、至于ES中系统索引.kibana settings refresh_interval参数为什么会被修改成50s,排查后发现是此索引创建是加载了index template,这个通用模板中settings部分参数经过修改,包括index.refresh_interval参数,主要目的是优化日志索引的index性能。
4、排查过程中发现kibana save object 耗时请求主要在以下两个,可以作为参考:
"search?overwrite=true" Header: POST /api/saved_objects/search?overwrite=true
"report" Header: POST /api/ui_metric/report Response: {"status":"ok"}

kibana-2.png

 

要回复问题请先登录注册