现象:现在我们产线上有很多mapping conflict的问题,导致很多数据进不来,如果这种mapping conflict的数据很多的话,是否会影响bulk的性能(我们现在是用logstash从kafka取数据写入ES,现在发现如果大量mapping conflict的数据,写入性能感觉是有影响),后面想到ignored_malformed这个参数,但是实际使用下来感觉很对的类型不支持,比如你原来是boolean,后面写入的是text的话还是不行,但是如果是long类型你text就能写进去。简单查看代码就是NumberFieldMapper支持ignored_malformed参数,而BooleanFieldMapper却不支持。
环境:ES 6.7.2
问题:在数据暂时改不了的情况下,如何处理mapping conflict?ES不支持boolean的 ignored_malformed是怎么考虑的?大量的mapping conflict会影响bulk的性能吗?
环境:ES 6.7.2
问题:在数据暂时改不了的情况下,如何处理mapping conflict?ES不支持boolean的 ignored_malformed是怎么考虑的?大量的mapping conflict会影响bulk的性能吗?
1 个回复
fantuan
赞同来自: