不为失败找理由,要为成功找方法。

filebeat的IO读写性能问题

Beats | 作者 huangyuhui | 发布于2018年01月17日 | 阅读数:7875

因为搭建好filebeat+elk后,处理日志的速度过慢,处理1G的日志大概需要45分钟左右,每秒只能处理3500条左右的日志,所以测试了各个组件的性能,在测试filebeat的时候读取大概117MB的日志,一共100W行日志需要5分钟左右,每秒大概3500条数据,平均每条数据120B,能对上之前elk的效率,后来通过iotop命令发现filebeat写入文件的速度平均只有2mb每秒,但是通过 time dd if=/dev/zero of=/testw.dbf bs=4k count=100000 测试服务器写入文件的IO速度达到60MB每秒,请问有哪位知道是为什么导致filebeat写入文件的速度这么慢呢?
 
已邀请:

muou

赞同来自:

问题解决了吗,我提问的地址:https://elasticsearch.cn/question/4622  希望各位大神指教

要回复问题请先登录注册