绊脚石乃是进身之阶。

Elasticsearch ignored_malformed 参数使用

Elasticsearch | 作者 Tsukiand | 发布于2019年09月21日 | 阅读数:2227

现象:现在我们产线上有很多mapping conflict的问题,导致很多数据进不来,如果这种mapping conflict的数据很多的话,是否会影响bulk的性能(我们现在是用logstash从kafka取数据写入ES,现在发现如果大量mapping conflict的数据,写入性能感觉是有影响),后面想到ignored_malformed这个参数,但是实际使用下来感觉很对的类型不支持,比如你原来是boolean,后面写入的是text的话还是不行,但是如果是long类型你text就能写进去。简单查看代码就是NumberFieldMapper支持ignored_malformed参数,而BooleanFieldMapper却不支持。
 
环境:ES 6.7.2
 
问题:在数据暂时改不了的情况下,如何处理mapping conflict?ES不支持boolean的 ignored_malformed是怎么考虑的?大量的mapping conflict会影响bulk的性能吗?
已邀请:

fantuan

赞同来自:

不能改mapping的话,只能数据导入的时候去适配你线上的mapping。

要回复问题请先登录注册