用了Elasticsearch,一口气上5T

logstash 如何避免输出文件越来越大

Logstash | 作者 trycatchfinal | 发布于2018年02月08日 | 阅读数:3375

  • 场景  使用logstash监听消息队列,将数据写入到ES。  
  • 写入ES配置中action为create,也就是不写入重复ID的信息   
  • 问题   create操作的解释为:   create: indexes a document, fails if a document by that id already exists in the index.也就是写入重复ID的信息,会失败,结果是logstash会产生一个error信息,写入到日志文件。  由于数据量很大,日志文件会越来越大,目前已经达到了几十G。  
  • 请问   如何避免产生错误信息?或者如何避免将error信息写入到日志?  来避免日志文件巨大   
  • PS   logstash版本:2.4  

已邀请:

要回复问题请先登录注册