之前通过logstash-kafka-es这样把4台机的日志都读到了es里,同一个index,没有出现过延迟的现象,数据量大概是每30分钟有4w多条数据。这个时候还是能及时读取的。后来又加进一台机的日志,采用的filter的正则跟前四台机的不一样,kafka的topic也不一样,这台机的日志数据也不多。所以logstash将kafka的数据读到es采用的是多索引输出到es的配置。现在查看的时候,感觉数据延迟了20分钟左右。。。我现在也不知道怎么排查= =,有大佬可以提供思路吗,我是个新手= =。。。T^T救救孩子吧
2 个回复
chenhongjie - 95后IT男
赞同来自:
xiaoke - http://blog.51cto.com/kexiaoke
赞同来自: