es for hadoop中writeToEs时,如何过滤掉mapping出错的数据或写入es发生异常的数据,让其他正常数据导入,以便程序继续运行?
Elasticsearch | 作者 shwtz | 发布于2018年01月05日 | 阅读数:2580
使用es for hadoop,写streaming程序,从kafka读取数据,格式为json,streaming中做了简单的变形,直接使用WriteJsonToEs方法导入es集群中。
目前当出现mapping异常,比如一开始动态识别为long型(0, 1000,5667等数字的值)的某一个字段,在后续的某个文档中,出现了string型("dsfs", "safe")的值,会报错:failed to parse ["<异常字段>"]。
此处异常会到处程序终端。如何实现过滤掉异常的数据,写入log,继续运行呢。。。
目前当出现mapping异常,比如一开始动态识别为long型(0, 1000,5667等数字的值)的某一个字段,在后续的某个文档中,出现了string型("dsfs", "safe")的值,会报错:failed to parse ["<异常字段>"]。
此处异常会到处程序终端。如何实现过滤掉异常的数据,写入log,继续运行呢。。。
0 个回复