大家好,近期在做一个ELK的项目。遇到了些问题,希望能得到解答。
设计中,logstash的input不是本地日志文件,而已监听一个端口,然后从中收集json文件并发送到elasticsearch,中间不做filter.
input的配置大致就是这样: input { http { port =>32311 tags => [video] } }
可以正常收到客户端发来的数据并在kibana正常显示,但是目前有个问题是ELK的收包功能并不如意。在1000/秒的情况下就会出现大量丢包。(测试是2分钟发送12万条数据,有个比较奇怪的现象是在发送了6,7万条数据的时候,丢包率都是基本不丢包,但过了某一个值后,就会大量丢包,不知道有没有大佬可以解答过,尝试过优化logstash配置,但是失败了)。 后来查阅资料,发现在我这个案例里,因为不需要做filter,其实可以用filebeat替代logstash,据网上说法是filbeat更轻量,效率也比logstash高不少。但是我发现filebeat里的input模块好像没有接收http的来源,请问有方法让filebeat接收http post过来的数据吗,
感激不尽。
设计中,logstash的input不是本地日志文件,而已监听一个端口,然后从中收集json文件并发送到elasticsearch,中间不做filter.
input的配置大致就是这样: input { http { port =>32311 tags => [video] } }
可以正常收到客户端发来的数据并在kibana正常显示,但是目前有个问题是ELK的收包功能并不如意。在1000/秒的情况下就会出现大量丢包。(测试是2分钟发送12万条数据,有个比较奇怪的现象是在发送了6,7万条数据的时候,丢包率都是基本不丢包,但过了某一个值后,就会大量丢包,不知道有没有大佬可以解答过,尝试过优化logstash配置,但是失败了)。 后来查阅资料,发现在我这个案例里,因为不需要做filter,其实可以用filebeat替代logstash,据网上说法是filbeat更轻量,效率也比logstash高不少。但是我发现filebeat里的input模块好像没有接收http的来源,请问有方法让filebeat接收http post过来的数据吗,
感激不尽。
1 个回复
cythwell
赞同来自:
0回复。。。