ES云服务4TB集群迁移到机房ES集群求助.
之前用的华为云，现在迁移到公司自己建设的机房，数据量大概是4TB，云搜索的配置是，ess.spec-i3small | 8 vCPUs | 64 GB * 8
具体:
集群版本 7.6.2 创建时间 2020/10/09 07:39:01 GMT+08:00
集群存储容量（GB） 12,800 集群存储使用量（GB） 5,245
节点规格 ess.spec-i3small | 8 vCPUs | 64 GB 节点存储 1,600 GB 超高I/O
节点数量 8
索引100来个，数据总量有3个大索引，最大的一个是 5TB ，1亿多文档
问题1: 云服务数据 和 机房的集群，怎么传输数据最安全（不会漏数据，改变格式） 高效 省事
问题2 ： 这些索引的 mapping setting 怎么在新集群快速创建
我想的办法，第一看华为云是否有解决方案
第二： 华为云 读取， 塞入kafka，用 kafka 进行消费 ，机房消费 写入 ，然后 索引的配置肯定全部都需要手动复制，创建 ，就非常麻烦 ，然后也担心数据会漏 。
reindex 的方案，貌似云服务不支持这样操作
求赐教
之前用的华为云，现在迁移到公司自己建设的机房，数据量大概是4TB，云搜索的配置是，ess.spec-i3small | 8 vCPUs | 64 GB * 8
具体:
集群版本 7.6.2 创建时间 2020/10/09 07:39:01 GMT+08:00
集群存储容量（GB） 12,800 集群存储使用量（GB） 5,245
节点规格 ess.spec-i3small | 8 vCPUs | 64 GB 节点存储 1,600 GB 超高I/O
节点数量 8
索引100来个，数据总量有3个大索引，最大的一个是 5TB ，1亿多文档
问题1: 云服务数据 和 机房的集群，怎么传输数据最安全（不会漏数据，改变格式） 高效 省事
问题2 ： 这些索引的 mapping setting 怎么在新集群快速创建
我想的办法，第一看华为云是否有解决方案
第二： 华为云 读取， 塞入kafka，用 kafka 进行消费 ，机房消费 写入 ，然后 索引的配置肯定全部都需要手动复制，创建 ，就非常麻烦 ，然后也担心数据会漏 。
reindex 的方案，貌似云服务不支持这样操作
求赐教
4 个回复
zqc0512 - andy zhou
赞同来自:
tongchuan1992 - 学无止境、学以致用
赞同来自:
2.用logstash进行数据传输。
3.ESM工具。
zhangdadadapao
赞同来自:
https://www.elastic.co/guide/e ... .html
laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net
赞同来自: