你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
发现
分享
文章
活动
登录
使用 man ascii 来查看 ASCII 表。
filebeat跨文件多行合并
Beats
| 作者
lengxiaopang
| 发布于2019年12月16日 | 阅读数:
2826
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
利用filebeat收集日志,如果内容分跨了两个文件, 一半在这个文件一半在另一个文件这种情况应该如何处理,现在测试的另外的一半文件的内容会被单独成一个event, 我想利用多行合并将其中一个文件追加到上一个event末尾,请问有解决方法么?
没有找到相关结果
已邀请:
与内容相关的链接
提交
2 个回复
tacsklet
-
公司有用到es
赞同来自:
换个思路吧,最好不要指望文件读取的有序。
匿名用户
赞同来自:
这种 如果beats 本身不支持,那谁也没办法,
首先我们分析一下原因:
1,当文件到达末尾,beats读取每一行,进行判断是否生成Event,如果是最后一行,beats 怎么分辨是否 生成一个新的Event 还是等待呢?
我想有两种方式,
1,可以判断文件是否正在被打开占用,如果占用
2,beats等待一段时间,比如30秒
如果文件一直打开,那可能等候30s,直接结束当前Event,
如果文件关闭,那可能直接打开下一个符合的文件,获取第一行判断,是否应该生成新的Event。
这个东西想要做好,还是非常的复杂的,没那么简单的。如果beats 本身不支持,那谁都没办法。
要回复问题请先
登录
或
注册
发起人
lengxiaopang
90后
活动推荐
Aug
23
Gitee Talk | 模力方舟 AI 应用开发沙龙
广州·南洋冠盛酒店
·
8-23 周六
·
报名中
Aug
23
偷懒也是生产力!算力优化与平台自动化实战
上海徐汇区模速空间
·
8-23 周六
·
报名中
Oct
17
第27届 GOPS 全球运维大会暨研运数智化技术峰会 · 上海站
上海
·
10-17 周五
·
报名中
相关问题
kibana分析nginx日志,还在纠结用filebeat还是logstash
elasticsearch 每个shard对应的文件含义
在Elasticsearch 6.1.3版本中,发现translog文件过多导致异常
Filebeat与kafka集成
filebeat链接kafka,kafka死掉会出现数据丢失吗?
怎么设置让索引文件全部在内存中查询
使用elasticsearch-rtf,修改elasticsearch.yml文件后无法启动es
filebeat收集多个路径下的日志,在logstash中如何为这些日志分片设置索引或者如何直接在filebeat文件中设置索引直接存到es中
filebeat->kafka没反应。
elasticsearch segment 合并太快什么原因
通过reindex将多个索引合并成一个索引,需要重新设置新索引的mapping吗
问题状态
最新活动:
2019-12-18 15:56
浏览:
2826
关注:
2
人
2 个回复
tacsklet - 公司有用到es
赞同来自:
匿名用户
赞同来自:
首先我们分析一下原因:
1,当文件到达末尾,beats读取每一行,进行判断是否生成Event,如果是最后一行,beats 怎么分辨是否 生成一个新的Event 还是等待呢?
我想有两种方式,
1,可以判断文件是否正在被打开占用,如果占用
2,beats等待一段时间,比如30秒
如果文件一直打开,那可能等候30s,直接结束当前Event,
如果文件关闭,那可能直接打开下一个符合的文件,获取第一行判断,是否应该生成新的Event。
这个东西想要做好,还是非常的复杂的,没那么简单的。如果beats 本身不支持,那谁都没办法。