mysql数据同步es方法

Elasticsearch | 作者 w2856117 | 发布于2017年06月15日 | 阅读数：9826

mysql歌曲表数据(千万级)同步es,因为有大量的附属表信息也要同步过去作为查询的过滤条件(比如专辑,艺人,标签,等等等等),目前的mapping定义是这些附属信息都是nested,请问有什么好的解决方案?现在是通过代码去把附属的信息查询出来,拼接成json对象再同步的

3 个回复

RedNation

可以采用阿里canal 监控日志同步信息

luyee2010

先说说从表到表的，基本es 一个type／index对应一张表.
现成的
1，https://github.com/siddontang/ ... earch 这个必须有pk字段
2，翻翻之前帖子的好像还有个python写的
3，自己用canal写个工具吧。。复杂点可以扩展otter，otter算是包装了canal的成套方案了，管理起来方便

如果是多张表比如要join啥的？呵呵还是自己码代码吧

laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net

建议将要同步的字段做成视图，通过logstash-input-jdbc同步视图。

要回复问题请先登录或注册

mysql数据同步es方法

3 个回复

发起人

活动推荐

相关问题

问题状态

mysql数据同步es方法

与内容相关的链接

3 个回复

发起人

活动推荐

相关问题

问题状态