最近使用logstash从文件导数据到es时经常出现文件已经完全导入但是logstash的sincedb没有更新的情况,通常size值要小于文件的总大然后就不更新了。在kill掉logstash然后重启之后,sincedb又会马上更新了。
查看logstash的日志,没有发现任何错误,很是迷惑。希望大家帮忙找找问题所在。
使用场景如下:
每天会从数据源写数据到一个文件,数据量大概1200万行,3.5G。从文件开始写的时候就开始使用logstash导入。
查看logstash的日志,没有发现任何错误,很是迷惑。希望大家帮忙找找问题所在。
使用场景如下:
每天会从数据源写数据到一个文件,数据量大概1200万行,3.5G。从文件开始写的时候就开始使用logstash导入。
1 个回复
laoyang360 - 《一本书讲透Elasticsearch》作者,Elastic认证工程师 [死磕Elasitcsearch]知识星球地址:http://t.cn/RmwM3N9;微信公众号:铭毅天下; 博客:https://elastic.blog.csdn.net
赞同来自:
单次写入数据量别太大。