大神帮忙看看!logstash取kafka日志出现数据乱窜,error的topic跑到data的topic里面去了
Logstash | 作者 wq131311 | 发布于2017年12月10日 | 阅读数:2613
架构:filebeat-->logstash->zookeeper+kafka-->logstash-->es
现象就是:topic是web-error,但是message内容是web-data的内容。
1、我是filebeat采集日志都有每个type类型,比如【web-error,web-data】
2、发到logstash的时候然后到kafka,topic是根据每个type类型自动创建的
3、logstash从kafka取日志的时候,是根据每个topic取得,比如【error是groupid,web-error是topic】【data是groupid,web-data是topic】
为啥存到es的日志里面会有日志乱窜的现象,web-data的数据跑到web-error里面去了
请大神帮忙看看!
现象就是:topic是web-error,但是message内容是web-data的内容。
1、我是filebeat采集日志都有每个type类型,比如【web-error,web-data】
2、发到logstash的时候然后到kafka,topic是根据每个type类型自动创建的
3、logstash从kafka取日志的时候,是根据每个topic取得,比如【error是groupid,web-error是topic】【data是groupid,web-data是topic】
为啥存到es的日志里面会有日志乱窜的现象,web-data的数据跑到web-error里面去了
请大神帮忙看看!
4 个回复
puyunjiafly
赞同来自:
不过打开logstash的详细日志很容易定位问题吧?
打开日志跟踪查看下吧 感觉可能是logstash配置问题。
wq131311
赞同来自:
Kevin_Yin
赞同来自:
Kevin_Yin
赞同来自: