行动是治愈恐惧的良药,而犹豫、拖延将不断滋养恐惧。

filebeat写kafka失败

Beats | 作者 dreamfly | 发布于2016年09月20日 | 阅读数:20063

我是通过docker容器技术来使用ELK的,具体是filebeta - kafka(zk) -logstash -elasticsearch这套,全部都运行在docker上。
是启动filebeat时,发现报错如下:
2016-09-20T12:12:45+08:00 WARN client/metadata fetching metadata for [applog] from broker 10.15.107.82:9092

2016-09-20T12:12:45+08:00 WARN kafka message: client/metadata found some partitions to be leaderless

检查了zk,kafka都是好的,因为还没设计到kafka后面的服务,所以可以不管。说zk和kafka都是好的,是因为我可以连上zk,看到自己配置的3个broker,可以创建或删除topic,可以自己往topic写入和消费,但是filebeat就是报上面错误,诡异的是我的另外一套环境,程序版本完全一致,但是可以写入。
自己也怀疑是配置或者版本问题,但是检查了很多遍,没有找到原因。
如果有人经历过或者知道问题原因,请不吝赐教,非常感谢!
已邀请:

huangzx

赞同来自:

filebeat 能直接报到 kafka 吗?

leighton_buaa

赞同来自:

filebeat的版本是多少?

db7689206 - 90后屌丝

赞同来自:

麻烦问下,我也遇到同样的问题,您是怎么解决的?

leighton_buaa

赞同来自:

我上网搜了搜,filebeat连接kafka用的是sarama libary
你试试指定Kafka Output Configuration 中的 version参数,指定为你的kafka版本,例如0.10.0.0
 
github上面有人问类似的问题,官方解答是Retry.Max不能设置为0
https://github.com/Shopify/sarama/issues/665
 
但是我看了Kafka Output Configuration,默认的metadat.retry.max的值是3,也就是说应该不会出现这个问题的,能贴一下你的Kafka Output Configuration配置吗?

leighton_buaa

赞同来自:

有人在filebeats上面开bug了...
https://github.com/elastic/beats/issues/2945
 
密切关注下...

jhin

赞同来自:

请问这个问题解决了么

leighton_buaa

赞同来自:

我也用的filebeta - kafka(zk) -logstash -elasticsearch这套流程,没有遇到问题,我用的版本都是5.0.1

chym

赞同来自:

我用的5.5.1版本的filebeat写kafka0.10.0.0 在终端启动消费者,看不到打印的信息,也没有topic创建,求指教

wajika

赞同来自:

我这里也遇到了,是kafka版本和filebeat的版本兼容问题

要回复问题请先登录注册