不要急,总有办法的

kibana分析nginx日志,还在纠结用filebeat还是logstash

Kibana | 作者 manman | 发布于2018年11月30日 | 阅读数:9546

服务器部署在阿里云,ES用的是5.3版本,里面index存了一些信息,然后用django写了个web让用户可以搜索ES里面的数据。现在想收集nginx的log到kibana进行可视化,主要是想看一下每次访问的IP地址,对用户的location做一个可视化。之前看一些blog文章,上面说如果用logstash来分析日志,然后在转存到ES,会有delay,而且web端也在不停的访问ES,所以怕服务器CPU过载严重,毕竟用的是最普通的服务器。后来看了官方的BEATS视频,里面用的filebeat是6.X版的,然后配置的部分没有详细的讲,所以看的不是特别的明白,想在就向问一下,对于我这种需求,到底用那个比较好呢?而且又不会给服务器带来太大的压力?谢谢了。
已邀请:

xiaoke - http://blog.51cto.com/kexiaoke

赞同来自: manman trycatchfinal Bird23

延迟不用担心会很小的,建议采集还是用用beat,如果数据量大,就在beat和logstash中间加kafka

kennywu76 - Wood

赞同来自: manman

收集端还是用filebeat比较好,不做日志解析,只要求将日志运出来即可,资源消耗非常低。如果手里硬件资源不多,可以不用logstash,filebeat直接发到ES集群的ingest node,在ingest node上配置一个grok pipeline负责解析日志就可以了。 查一下官方的文档,重点是理解filebeat的elasticsearch output怎么配置, ES一端的ingest node怎么配置。

zqc0512 - andy zhou

赞同来自: manman

量大不大,不大直接搞ES 大搞到logstash再到ES
解析数据的问题。
配置pipeline

laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net

赞同来自: manman

logstash数据量比较大的时候,会有性能问题。供选型建议参考。
beats更轻量级。

sa_linux - https://ops-coffee.cn

赞同来自:

收集nginx日志最好的方式使用rsyslog,client端无需安装angent,参考:
https://mp.weixin.qq.com/s/CYUls7uczVwGzwptZOX0Dg

要回复问题请先登录注册