使用 dmesg 来查看一些硬件或驱动程序的信息或问题。

Logstash 无法将大型json对象(1~50MB)写入到elasticsearch

Logstash | 作者 zengyp | 发布于2016年07月09日 | 阅读数:5436

每个json对象大约1~50MB,用Logstash file input plugin 无法将大的json对象写入到Elasticsearch。但是小型的json对象测试的时候可以成功写入到Elasticsearch。
如何配置Logstash或者Elasticsearch才能够将大型的json对象写入到Elasticsearch?
 
json对象说明:
1、每个json对象的schema不完全一样。
2、json对象包含很多的field。
已邀请:

gfswsry - 80后IT

赞同来自: leighton_buaa

ES2.2.0,http请求一个post限制不能超过100M,超过100M就会导致写不进去,在elasticsearch.yml中添加:
http.max_content_length: 1024mb

leighton_buaa

赞同来自:

我试过2MB大小的数据,是没问题的。我觉得你可以先试一下
output { stdout{} }
看看你的json对象能否打印到标准输出

要回复问题请先登录注册