你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

elasticsearch如何全量从MySQL导入千万级别数据

默认分类 | 作者 JonahYan | 发布于2018年05月17日 | 阅读数：7287

公司原先使用的是Solr来做搜索，现在准备转elasticsearch，现有数据一千多万，我试过logstash-input-jdbc来配置增量可以实现，但是全量的话，一下子分页50000条logstash会卡死，有没有同学做过类似迁移，谢谢

3 个回复

zqc0512 - andy zhou

你把mysql数据导出拆分下，logstash JVM调整大些看。

medcl - 今晚打老虎。

分页没有必要这么大啊，设置小点哈

Memento - Memento

作者现在是如何解决这个问题的? logstash 的分页是在全表扫描之后, 最外层套的 limit offset, 所以分页效果在大数据量的时候效果很差. 我现在只是用 fetch-size, 然后mysql 开启游标查询来处理的.

要回复问题请先登录或注册