用了Elasticsearch,一口气上5T

ES数据快照到HDFS

Elasticsearch | 作者 qps_dskl332 | 发布于2018年12月10日 | 阅读数:3220

1、ES官网提供快照方式和es-hadoop,不知道哪位用过,实现备份用哪种方式比较快速,我自己测试了快照方式,效率不是很快,大概1G/分钟
2、快照方式,配置了压缩,但是存入hdfs的数据无压缩(比原来还稍微大一下),不知道有没有更好的方式进行压缩存储
已邀请:

medcl - 今晚打老虎。

赞同来自:

ES 做快照和使用 es-Hadoop 倒数据是完全的两种不同的方式,使用 ES-Hadoopp 后期导入的成本可能也不小。
如果要恢复快,当然是做快照和还原的方式最快,速度完全取决于网络和磁盘的速度。
如果为了节省磁盘,快照的时候,可以选择6.5最新支持的 source_only 模式,导出的快照要小很多,不过恢复的时候要进行重建,速度慢。
https://www.elastic.co/guide/e ... itory

要回复问题请先登录注册