三人行必有我师

logstash往hdfs和es上传输数据不一致

Logstash | 作者 luolaoban | 发布于2020年11月05日 | 阅读数:1658

在logstash的output端同时输出到HDFS和ES端,两者的数据差距很大,我先用文件单独往ES上发送数据,在kibana上看到的数据条数跟原文件的条数是一样的,又把同样的文件往HDFS做传输,测试了好几次,数据量减少很多,要不只有一条,要不就几条,请问这种情况怎么解决,前面的input和filter都是一样的
已邀请:

要回复问题请先登录注册