1、日志文件是json格式（对应ES的索引的字段），如果输出到ES，那么对应ES的格式数据（mapping）应该怎么定义，放到哪个目录，怎么引用。
2、为了方便我每条日志生成一个文件，这样文件多了会不会影响Filebeat的性能。
3、接第2问怎么配置可以“读取并输出成功”就删除该日志文件。
2、为了方便我每条日志生成一个文件，这样文件多了会不会影响Filebeat的性能。
3、接第2问怎么配置可以“读取并输出成功”就删除该日志文件。
[尊重社区原创，转载请保留或注明出处]
本文地址：http://searchkit.cn/article/428
本文地址：http://searchkit.cn/article/428
5 个评论
hello，老司机呢
1. mapping 要提前定好，你的 json 格式固定么？如果固定就可以提前创建好 mapping 或者模板
2.肯定要影响性能的，文件句柄多，操作系统也吃不消的，都需要额外消耗内存的。
3.Filebeat 做不了，在外面自己清理吧。Filebeat 可以保证不读重复的文件，你可以定期按日期文件名来清理
4.发问记得选【发布问题】，不是【发布文章】。
2.肯定要影响性能的，文件句柄多，操作系统也吃不消的，都需要额外消耗内存的。
3.Filebeat 做不了，在外面自己清理吧。Filebeat 可以保证不读重复的文件，你可以定期按日期文件名来清理
4.发问记得选【发布问题】，不是【发布文章】。
1、json格式固定。mapping或者模板放什么地方，内容是不是就是ES使用的mapping文件或者模板文件。
2、每天大概会产生100G的文件，并发量比较大（1000条/秒），写文件要怎么规划。写到多少个文件合适。
2、每天大概会产生100G的文件，并发量比较大（1000条/秒），写文件要怎么规划。写到多少个文件合适。
1.mapping 需要手动 post 到 es，或者采用 filebeat module 的方式，写在配置里面。
2.一般日志都会 rotation 机制，或者外部脚本来定时 rename 日志文件，具体多少没有固定，你可以每小时产生一个，一天之后删除。
2.一般日志都会 rotation 机制，或者外部脚本来定时 rename 日志文件，具体多少没有固定，你可以每小时产生一个，一天之后删除。
