高峰只对攀登它而不是仰望它的人来说才有真正意义。

elasticsearch快照恢复慢的问题

Elasticsearch | 作者 liuzhoujian | 发布于2019年12月05日 | 阅读数:3468

新人求助:
我现在遇到一个有关elasticsearch备份恢复速度慢的问题,场景如下:
目前有三台linux虚拟机A、B、C,环境均为CentOS7。 我在A服务器上安装了vsftpd FTP服务器用于存储elasticsearch快照,在B服务器和C服务器上各装了elasticsearch5.6.10。 在使用时,我使用curlftpfs将A服务器挂载在B服务器上,这样就可以将B服务器上elasticsearch创建的快照直接存储到A的FTP服务器中保存。现在我想试试官方文档提供的Read-Only URL Repository:
官方文档:https://www.elastic.co/guide/e ... .html
我的做法:
      1、在C服务器上elasticsearch 创建只读快照仓库,协议ftp, url直接指向A的FTP服务器
{
"backup1": {
"type": "url",
"settings": {
"compress" : "true",
"url": "ftp://ftpuser:ftppwd@192.168.1.102:21",
"max_restore_bytes_per_sec": "50mb",
"max_snapshot_bytes_per_sec": "50mb"
}
}
}
     2、在C服务器elastielastic.yml配置文件中添加白名单
repositories.url.allowed_urls : ["ftp://ftpuser:ftppwd@addressA:21"]
     3、执行备份恢复
curl -XPOST 'http://127.0.0.1:9200/_snapshot/backup1/es_2.0.0_demo-0327/_restore?wait_for_completion=true'
   之后发现通过查看FTP服务器的日志发现,在备份恢复时存在大量重连的情况,而且备份恢复的速度很慢。但是我用Filezilla FTP客户端直接批量下载文件时,速度确是很快的,而且没有大量重新连接的情况。为什么会这样呢,有什么方法能够提高采用FTP远程备份恢复的速度呢?感谢!
 
 
Filezilla.png 快照恢复FTP日志.png
已邀请:
匿名用户

匿名用户

赞同来自:

生成环境请忽略备份吧。
 
几个TB的数据,还玩什么增量和全量备份。
 
这不是灾难吗?
 
所有软件默认提供的备份和恢复方案,没有一个是成熟的,没有一个是生成级别的,全都是demo级别的。
 
 
 
 
 

Charele - Cisco4321

赞同来自:

快照我觉得还是可以用的,比如迁移数据时候。
 
FTP的方式我感受过,很慢。以前我在用一个软件的时候(Java写的),它要从网上download一个demo数据下来,代码里面是用FTP方式下载的,数据有100多M,运行了一个小时还在等待,
后来实在不耐烦了,找到了里面的数据源网址,手工下载下来的,半分钟就完成了。
 
可以试下用HDFS的方式

要回复问题请先登录注册