测试环境下搭了一套ELK+kafka。 两台ES+kibana集群,三台kafka zookeeper集群(装有logstash),一台client用作发送日志(装有logstash)。
首先,kafka集群测试OK。
从client的logstash上输出到kafka集群上也能看到topic,正常。
从kafka上的logstash上输出到ES集群也能看到。
问题: 从client的logstash发给kafka,然后kafka再通过logstash输出到ES不成功。
版本:kafka_2.10-0.10.2.1.tgz logstash-5.6.3.rpm
怀疑是 ,kafka上logstash的input配置有问题,是否版本不被兼容?希望有知道的给予指点,感谢!
配置如下:
input {
kafka {
bootstrap_servers => "192.168.30.1:9092,192.168.30.2:9092,192.168.30.3:9092"
topics => ["system-message-2"]
# codec => rubydebug
# reset_beginning => false
# consumer_threads => 5
# decorate_events => true
}
}
output {
elasticsearch {
hosts => ["192.168.30.11:9200","192.168.30.12:9200"]
index => "kafka-message2-%{+YYYY-MM-dd}"
}
}
首先,kafka集群测试OK。
从client的logstash上输出到kafka集群上也能看到topic,正常。
从kafka上的logstash上输出到ES集群也能看到。
问题: 从client的logstash发给kafka,然后kafka再通过logstash输出到ES不成功。
版本:kafka_2.10-0.10.2.1.tgz logstash-5.6.3.rpm
怀疑是 ,kafka上logstash的input配置有问题,是否版本不被兼容?希望有知道的给予指点,感谢!
配置如下:
input {
kafka {
bootstrap_servers => "192.168.30.1:9092,192.168.30.2:9092,192.168.30.3:9092"
topics => ["system-message-2"]
# codec => rubydebug
# reset_beginning => false
# consumer_threads => 5
# decorate_events => true
}
}
output {
elasticsearch {
hosts => ["192.168.30.11:9200","192.168.30.12:9200"]
index => "kafka-message2-%{+YYYY-MM-dd}"
}
}
1 个回复
luohuanfeng
赞同来自:
先看logstash发给kafka成不成功.就是看kafka里面有没有数据写入.有数据就往下排查
然后在看kafka再通过logstash输出到ES.
1,kafka里group_id logstash的消费情况. 没指定groupid的话 默认就是logstash
2.如果kafka里看到groupid已经消费了,那试一下把logstash output输出到屏幕看看.
3,如果输出到屏幕正常,那就去查es的问题.看看日志什么的.