你不会是程序猿吧？

发布个es迁移工具：elasticsearch-migration

Elasticsearch | 作者 medcl | 发布于2016年05月23日 | | 阅读数：33633
分享到：QQ空间新浪微博微信QQ好友印象笔记有道云笔记
https://github.com/medcl/elasticsearch-migration
支持多个版本间的数据迁移，使用scroll+bulk
1.版本支持1.x,2.x.5.0 (0.x未测试)
2.支持http basic auth 认证的es集群
3.支持导入覆盖索引名称（目前只支持单个索引导入的情况下可指定）
4.支持index setting和mapping的同步（相关es大版本，2.x和5.0之间不支持）
5.支持dump到本地文件
6.支持从dump文件加载导入到指定索引
 
欢迎测试！
 
#copy index index_name from 192.168.1.x to 192.168.1.y:9200

./bin/esm  -s http://192.168.1.x:9200   -d http://192.168.1.y:9200 -x index_name  -w=5 -b=10 -c 10000



#copy index src_index from 192.168.1.x to 192.168.1.y:9200 and save with dest_index

./bin/esm -s http://localhost:9200 -d http://localhost:9200 -x src_index -y dest_index -w=5 -b=100



#support Basic-Auth

./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -n admin:111111



#copy settings and override shard size

./bin/esm -s http://localhost:9200/ -x "src_index" -y "dest_index"  -d http://localhost:9201 -m admin:111111 -c 10000 --shards=50  --copy_settings 



#copy settings and mapping, recreate target index, add query to source fetch, refresh after migration

./bin/esm -s http://localhost:9200/ -x "src_index" -q=query:phone -y "dest_index"  -d http://localhost:9201  -c 10000 --shards=5  --copy_settings --copy_mapping --force  --refresh



#dump elasticsearch documents into local file

./bin/esm -s http://localhost:9200 -x "src_index"  -m admin:111111 -c 5000 -b -q=query:mixer  --refresh -o=dump.bin 



#loading data from dump files, bulk insert to another es instance

./bin/esm -d http://localhost:9200 -y "dest_index"   -n admin:111111 -c 5000 -b 5 --refresh -i=dump.bin

 
[尊重社区原创，转载请保留或注明出处]
本文地址：http://searchkit.cn/article/id-78
4
yiyezhiqiu425 rockybean hewww11 winnieyyyy

135 个评论

stab

stab

我用了一下,没有反应诶.
我是ubuntu14.04,直接下的和build的我都试了一下,都没有什么反应
2016-06-06 18:26
medcl

medcl 回复 stab

build出来的运行不了么？
2016-06-08 15:08
stab

stab 回复 medcl

对,build出来的也没有响应
2016-06-08 16:21
medcl

medcl 回复 stab

奇怪，看来我的找个Ubuntu试试了
2016-06-12 16:47
stab

stab 回复 medcl

麻烦了,可用的话,请通知我
2016-06-12 17:33
medcl

medcl 回复 stab

试试这个：https://github.com/medcl/elasticsearch-migration/releases/tag/v0.3.0
2016-06-13 01:14
Goldbach

Goldbach

你自己用go写的？
2016-06-13 13:55
medcl

medcl 回复 Goldbach

基于某个开源项目，改了改
2016-06-13 16:54
stab

stab 回复 medcl

行了
2016-06-16 17:13
aiolos

aiolos

测试，从centos上elasticsearch1.4.1服务器迁移到本地windows下elaticsearch2.3.1。迁移完成。Bulk 388841 / 388841 [==========================================================================================================================] 100.00% 2m49s。但实际写入的数据只有161418条."count": 161418。
2016-06-28 10:26
medcl

medcl 回复 aiolos

迁移的一个索引么，控制台有报错么？
2016-07-04 14:32
leighton_buaa

leighton_buaa

请问@medcl
-q, --query= query against source elasticsearch instance, filter data before migrate, ie: name:medcl
支持DSL吗？
2016-10-17 15:19
medcl

medcl 回复 leighton_buaa

不支持
2016-10-19 23:32
medcl

medcl

更新V0.3.1，支持 sliced scroll, 下载：https://github.com/medcl/elasticsearch-migration/releases
2016-10-26 13:33
ipush

ipush

两个问题汇报一下
1　最新代码，　ubuntu 14.04 下　　make all-platform 生成结果，启动自动退出
2 解析　epoch_millis　字段时候，会中　json.Unmarshal　的坑，吧 int64　变成科学计数法字符串，改成　Decoder.UseNumber　好一些
2016-10-30 01:45
medcl

medcl

@ipush 多谢，第一个问题暂时不好解决，好像 Travis 上面也有这个问，第二个问题具体是那个地方，会影响数据迁移么，unmarshal 应该只是打印返回结果有用
2016-10-31 13:55
aaronhadoop

aaronhadoop

[root@test-master-01 ~/jianxinyu/elasticsearch-migration]# make build
rm -rif bin
mkdir bin
get Dependencies
go env
GOARCH="amd64"
GOBIN=""
GOCHAR="6"
GOEXE=""
GOHOSTARCH="amd64"
GOHOSTOS="linux"
GOOS="linux"
GOPATH="/root/jianxinyu/elasticsearch-migration:"
GORACE=""
GOROOT="/usr/lib64/golang"
GOTOOLDIR="/usr/lib64/golang/pkg/tool/linux_amd64"
TERM="dumb"
CC="gcc"
GOGCCFLAGS="-g -O2 -fPIC -m64 -pthread"
CXX="g++"
CGO_ENABLED="1"
go get gopkg.in/cheggaaa/pb.v1


停在这一步没反应了... ...
2016-12-05 21:09
aaronhadoop

aaronhadoop 回复 aaronhadoop

请问知道是为什么吗
2016-12-05 21:10
aaronhadoop

aaronhadoop

[m@test-master-01 /root/jianxinyu]$ bin/linux64/esm
[m@test-master-01 /root/jianxinyu]$

执行命令bin/linux64/esm，没有反应，麻烦看下
2016-12-05 21:15
medcl

medcl 回复 aaronhadoop

自己编译的还是下载的版本
2016-12-05 22:52
medcl

medcl

用这个 https://github.com/medcl/elasticsearch-migration/releases/tag/v0.3.2 试试
2016-12-05 22:53
aaronhadoop

aaronhadoop 回复 medcl

[root@test-master-01 ~/jianxinyu]# curl -L -O https://github.com/medcl/elasticsearch-migration/releases/download/v0.3.2/linux64.tar.gz
[root@test-master-01 ~/jianxinyu]# tar -zxvf linux64.tar.gz
[root@test-master-01 ~/jianxinyu]# bin/linux64/esm
[root@test-master-01 ~/jianxinyu]# bin/linux64/esm -s
[root@test-master-01 ~/jianxinyu]# bin/linux64/esm -xxx
[root@test-master-01 ~/jianxinyu]#

都没有什么反应（我的系统是CentOS 6.2）
请教下，这个是为什么呢
2016-12-06 09:40
aaronhadoop

aaronhadoop 回复 aaronhadoop

这个操作是，自己编译的
2016-12-06 09:41
aaronhadoop

aaronhadoop 回复 aaronhadoop

这个操作是，自己编译的
2016-12-06 09:42
aaronhadoop

aaronhadoop

windows下执行32位的
C:\Users\jianxinyu\Desktop\elasticsearch-migration\bin\windows32>esm.exe
和64位的
C:\Users\jianxinyu\Desktop\elasticsearch-migration\bin\windows64>esm.exe

敲回车后，都没有什么响应，请问有可以用的朋友吗

可否麻烦先帮忙看下linux下为何不能用吧（我的linux环境是Centos 6.2，下载的版本是linux64.tar.gz），万分感谢
@medcl 可否方便留下你的联系方式，交流方便些
2016-12-06 10:33
medcl

medcl 回复 aaronhadoop

qq 78843382,你下载的那个版本啊？ 我发你我本地打包的吧。
2016-12-13 13:35
aaronhadoop

aaronhadoop

@medcl 您好，我这边执行bin/linux64/esm，无响应的问题，给你的qq邮箱发了封邮件。麻烦有空时看下，谢谢了
（我的联系方式，手机：18588497759，QQ：1152596901）
2016-12-18 20:52
medcl

medcl 回复 aaronhadoop

嗯,回复了, Travis 打的包有问题
2016-12-22 11:28
medcl

medcl 回复 medcl

貌似 Ubuntu 打的就有问题,我的mac下打的都正常,有其他平台的可以帮忙试试
2016-12-22 11:29
aaronhadoop

aaronhadoop

谢谢了。
我这边在测试大数据量操作时，数据导出失败，我再测试整理下，有问题的话，再请教交流。
2016-12-26 15:59
medcl

medcl 回复 aaronhadoop

可以先导出到本地文件，目标 es 是不是撑不住这么多数据，还是配置不合理？
2016-12-28 13:16
aaronhadoop

aaronhadoop

谢谢@medcl ，
我自己用Java写了个工具，先把ES中的数据导出到本地文件，再把文件导入到另外的ES集群。
2017-01-09 19:22
medcl

medcl 回复 aaronhadoop

这个工具也支持导入到本地文件再导出的啦
2017-01-10 10:52
mivlnd

mivlnd

@medcl 识别不到.kibana索引 要如何写才能识别到
2017-01-19 14:47
mivlnd

mivlnd

./esm -s http://192.168.1.3:9200 -d http://192.168.1.4:9200 -x .kibana -w=5 -b=10 -c 10000 我是这样写的，其他索引都是这样写然后成功迁移了 但是这个不行 报[main.go:375,main] index not exists,.kibana
2017-01-19 14:49
medcl

medcl 回复 mivlnd

参数启用就行了：
-a, --all copy indexes starting with . and _ (false)
2017-01-24 21:13
jdjwxj

jdjwxj

请问一下，这个在centos上可以用吗？
2017-04-27 16:39
medcl

medcl 回复 jdjwxj

可以啊
2017-04-27 19:24
jdjwxj

jdjwxj

你好，我分别用了0.3.3和0.3.2编译都正常了，但是执行的时候，没有任何反映
./bin/esm -s http://10.10.104.145:9200 -d http://10.10.106.91:9200 -x hn-alarm-20170118 -w=5 -b=10 -c=10000
这是我的命令
2017-04-28 09:57
medcl

medcl 回复 jdjwxj

在那个平台编译的啊？貌似Ubuntu平台编译出来的包有问题，我在mac下没问题。release下面有可以直接下载运行的，你试过么？
2017-04-28 11:24
medcl

medcl 回复 medcl

https://github.com/medcl/elasticsearch-migration/releases/tag/v0.3.3
2017-04-28 12:04
jingpeiyang

jingpeiyang

请问支持es2.x到5.x的数据迁移么
2017-07-26 16:39
medcl

medcl 回复 jingpeiyang

支持
2017-07-26 21:49
DimonHo

DimonHo

为什么我的output一直是0%啊？
2017-08-04 17:08
DimonHo

DimonHo

是要先在目标服务器上创建索引吗？还是说会自动创建？
2017-08-04 17:12
medcl

medcl 回复 DimonHo

支持自动创建，同步配置，参数： --copy_settings --copy_mapping
2017-08-04 19:04
trump

trump

你好 @medcl 大神
现在支持2.x 到 5.x 的index setting和mapping的同步吗？
2017-08-06 14:44
trump

trump

你好 @medcl 大神
现在用的是2.3.4 有300G数据，怎么能快速升级到5.5.x版本？请赐教
2017-08-06 14:46
medcl

medcl 回复 trump

es 直接指出 reindex，也可以试试，300G 应该很快。
2017-08-06 22:05
medcl

medcl 回复 medcl

指出->支持
2017-08-06 22:06
DimonHo

DimonHo 回复 medcl

加上参数报错 unknown flag `copy_mapping'
2017-08-12 14:44
DimonHo

DimonHo

没有使用 --copy_settings --copy_mapping 直接使用了-a参数，成功了，但是发现导入过去之后缺失了2条数据，为什么？
2017-08-12 14:52
medcl

medcl 回复 DimonHo

refresh之后呢？也缺么？
2017-08-12 21:57
DimonHo

DimonHo 回复 medcl

确实是缺两条数据。另一个有1300多W条数据的，迁移过来后只有60多W条。 我是从1.2.1迁移到5.5.1
2017-08-16 21:19
medcl

medcl 回复 DimonHo

有报错信息么？
2017-08-17 12:38
DimonHo

DimonHo 回复 medcl

没报错信息，最后进度条停止在99%。
2017-08-21 09:44
medcl

medcl 回复 DimonHo

看来有没有测到的 bug
2017-09-10 09:39
Evan C

Evan C

esm.exe /s http://10.163.175.98:9200 /d http://10.163.175.97:9200 /x '/ngr_lft-test/test50nightly' /w 5 /b 10 /c 1000
[10-09 21:30:33] [ERR] [main.go:100,main] No handler found for uri [/'/ngr_lft-test/test50nightly'/_search?scroll=1m&search_type=scan&size=1000] and method [POST]

windows 的 迁移 老报这个错 是什么原因
2017-10-09 21:35
medcl

medcl 回复 Evan C

参数看起来不对啊，为什么要加 / 和 单引号
2017-10-10 15:36
Evan C

Evan C 回复 medcl

:\Users\ECUNEVA\bin\windows32>esm.exe /s http://10.163.175.98:9200 /d http://10.163.175.97:9200 /x ngr_lft-60degree/60dtest /w 5 /b 10 /c 1000
Scroll 0 / 205 [---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------] 0.00%
Scroll 205 / 205 [==================================================================================================================================================================================================================================================================================] 100.00% 1s
Scroll 205 / 205 [==================================================================================================================================================================================================================================================================================] 100.00% 1s
Output 0 / 205 [--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------] 0.00%
参数修改了， 执行后一直卡在这不动了，linux 和windows都试了，都同样这个问题，麻烦帮看看，谢谢
2017-10-10 19:06
medcl

medcl 回复 Evan C

从什么版本到什么版本？
2017-10-12 20:22
Evan C

Evan C 回复 medcl

从2.3.3 到5.5.2 ，这样可以吗？
2017-10-13 10:41
chenchen

chenchen

为啥从一个索引导入到另一个索引，doc中少了两个key：value键值对啊？
版本为：esm-0.3.4.zip，直接下载使用的
2017-10-17 20:08
凌飞羽

凌飞羽

我也发现缺少记录，直接下载的v0.3.4 linux64.tar.gz，在centos6.6执行

src_index有208条记录
导出文件src_index.bin 也208条记录
但重新导入会该集群只有156条记录

./esm -s http://10.24.8.XX:9200 -x "src_index" --refresh -o=src_index.bin
./esm -d http://10.24.8.XX:9200 -y "dest_index" --refresh -i=src_index.bin
2017-10-27 14:48
凌飞羽

凌飞羽 回复 medcl

我也发现缺少记录，直接下载的v0.3.4 linux64.tar.gz，在centos6.6执行

src_index有208条记录
导出文件src_index.bin 也208条记录
但重新导入会该集群只有156条记录

./esm -s http://10.24.8.XX:9200 -x "src_index" --refresh -o=src_index.bin
./esm -d http://10.24.8.XX:9200 -y "dest_index" --refresh -i=src_index.bin
2017-10-27 14:49
medcl

medcl 回复 凌飞羽

应该是有 mapping 不兼容的异常，异常没有吐出来，这块是个问题，需要修复一下
2017-10-30 14:52
medcl

medcl

6.x只支持一个 type，正在看怎么处理一下，打算导出到 index-type 的索引里面，欢迎提交 pr 一起完善
2017-10-30 14:53
cfc4n

cfc4n 回复 medcl

mark
2017-11-03 14:12
yunzaiqintian

yunzaiqintian

mark
2017-11-07 15:04
AlanMax

AlanMax

6.x的支持么
2017-11-30 15:32
ua_long

ua_long

编译后的程序没反应哦，分别在centos 6 和 mac环境编译都不行。 我用过release版本，但是需要加点代码，所以需要自己加些逻辑。我碰到的问题是github下下来的代码编译后都没反应。。。
可以怎么解决呢？

以下方式都不行：
make build 和
go build -gcflags "-N -l" -o ./esm ./*.go
2018-01-25 23:19
medcl

medcl 回复 ua_long

你的golang开发环境弄好没有，编译其他程序ok么？
2018-01-26 11:20
ua_long

ua_long

可以的，是公司的开发平台。编译其他程序可以用，比如自己业务写的es导入工具
2018-01-26 11:51
medcl

medcl 回复 ua_long

你可以发一下 go env 的返回内容么？
2018-01-26 13:26
ua_long

ua_long

go version go1.9 linux/amd64

GOARCH="amd64"
GOBIN=""
GOEXE=""
GOHOSTARCH="amd64"
GOHOSTOS="linux"
GOOS="linux"
GOPATH="xxx"
GORACE=""
GOROOT="/usr/local/go"
GOTOOLDIR="/usr/local/go/pkg/tool/linux_amd64"
GCCGO="gccgo"
CC="gcc"
GOGCCFLAGS="-fPIC -m64 -pthread -fmessage-length=0 -fdebug-prefix-map=/tmp/go-build872736006=/tmp/go-build"
CXX="g++"
CGO_ENABLED="1"
CGO_CFLAGS="-g -O2"
CGO_CPPFLAGS=""
CGO_CXXFLAGS="-g -O2"
CGO_FFLAGS="-g -O2"
CGO_LDFLAGS="-g -O2"
PKG_CONFIG="pkg-config"
2018-01-26 14:18
medcl

medcl 回复 ua_long

看起来没有什么问题啊，除了我是用 clang 编译，你是 gcc。这个是我的：
GOARCH="amd64"
GOBIN=""
GOEXE=""
GOHOSTARCH="amd64"
GOHOSTOS="darwin"
GOOS="darwin"
GOPATH="/Users/medcl/go"
GORACE=""
GOROOT="/usr/local/Cellar/go/1.9/libexec"
GOTOOLDIR="/usr/local/Cellar/go/1.9/libexec/pkg/tool/darwin_amd64"
GCCGO="gccgo"
CC="clang"
GOGCCFLAGS="-fPIC -m64 -pthread -fno-caret-diagnostics -Qunused-arguments -fmessage-length=0 -fdebug-prefix-map=/var/folders/r4/fp0jznxj48z8_g_dcdv1f5lh0000gn/T/go-build959804095=/tmp/go-build -gno-record-gcc-switches -fno-common"
CXX="clang++"
CGO_ENABLED="1"
CGO_CFLAGS="-g -O2"
CGO_CPPFLAGS=""
CGO_CXXFLAGS="-g -O2"
CGO_FFLAGS="-g -O2"
CGO_LDFLAGS="-g -O2"
PKG_CONFIG="pkg-config"
2018-01-29 10:49
xinfanwang

xinfanwang

query似乎有问题，已在github上提交issue。
2018-03-26 17:12
medcl

medcl 回复 xinfanwang

urlencode一下查询条件试试
2018-03-27 11:00
xinfanwang

xinfanwang

还是不行。
2018-03-28 17:17
sweetpotato

sweetpotato

[04-02 15:04:23] [ERR] [main.go:346,main] server error: {"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"unknown setting [index.provided_name] please check that any required plugins are installed, or check the breaking changes documentation for removed settings"}],"type":"illegal_argument_exception","reason":"unknown setting [index.provided_name] please check that any required plugins are installed, or check the breaking changes documentation for removed settings"},"status":400}
[04-02 15:04:23] [ERR] [v0.go:240,UpdateIndexMapping] http://x.x.x.x:9200/production_shop_nginx_err-2018.04.01/production_shop_nginx_err/_mapping
[04-02 15:04:23] [ERR] [v0.go:241,UpdateIndexMapping]
[04-02 15:04:23] [ERR] [v0.go:242,UpdateIndexMapping] server error: {"error":{"root_cause":[{"type":"index_not_found_exception","reason":"no such index","resource.type":"index_or_alias","resource.id":"production_shop_nginx_err-2018.04.01","index_uuid":"_na_","index":"production_shop_nginx_err-2018.04.01"}],"type":"index_not_found_exception","reason":"no such index","resource.type":"index_or_alias","resource.id":"production_shop_nginx_err-2018.04.01","index_uuid":"_na_","index":"production_shop_nginx_err-2018.04.01"},"status":404}
panic: server error: {"error":{"root_cause":[{"type":"index_not_found_exception","reason":"no such index","resource.type":"index_or_alias","resource.id":"production_shop_nginx_err-2018.04.01","index_uuid":"_na_","index":"production_shop_nginx_err-2018.04.01"}],"type":"index_not_found_exception","reason":"no such index","resource.type":"index_or_alias","resource.id":"production_shop_nginx_err-2018.04.01","index_uuid":"_na_","index":"production_shop_nginx_err-2018.04.01"},"status":404}

goroutine 1 [running]:
main.(*ESAPIV0).UpdateIndexMapping(0xc423130810, 0xc423117770, 0x24, 0xc423130f60, 0xc421a81d40, 0xc423211eb8)
/Users/medcl/BTSync/github/elasticsearch-migration/v0.go:243 +0x9ad
main.(*ESAPIV5).UpdateIndexMapping(0xc423130810, 0xc423117770, 0x24, 0xc423130f60, 0xc421a81dc8, 0xc4231421a0)
/Users/medcl/BTSync/github/elasticsearch-migration/v5.go:59 +0x4b
main.main()
/Users/medcl/BTSync/github/elasticsearch-migration/main.go:364 +0x2a1e

请问这个报错是啥意思,我用的这个命令
./esm -s http://172.x.x.x:9200 -d http://x.x.x.x:9200 -x "production_shop_nginx_err-2018.04.01" -y "production_shop_nginx_err-2018.04.01" -w=5 -b=10 -c 10000 --copy_settings --copy_mappings --force --refresh

但是我不加--copy_mappings就可以迁移成功,但是到99%就finish了
2018-04-02 16:08
9527

9527

@medcl 大神 make build 的时候一直有报错，
# cd .; git clone https://github.com/mattn/go-runewidth /usr/local/src/esm-master/src/github.com/mattn/go-runewidth
Initialized empty Git repository in /usr/local/src/esm-master/src/github.com/mattn/go-runewidth/.git/
error: while accessing https://github.com/mattn/go-runewidth/info/refs

fatal: HTTP request failed
package github.com/mattn/go-runewidth: exit status 128
package golang.org/x/sys/unix: unrecognized import path "golang.org/x/sys/unix" (https fetch: Get https://golang.org/x/sys/unix?go-get=1: dial tcp 216.239.37.1:443: getsockopt: connection timed out)
make: *** [config] Error 1

这个是git链接有问题吗？请解？？？？
2018-05-15 14:13
medcl

medcl

这个翻墙的问题不在讨论范围内啊 @9527
2018-05-17 17:28
resn

resn

elasticsearch-5.4.1 支持么
我看只写了5.0
另外 要把一个实例的所有数据全部迁移到另外一个实例怎么操作呢？
刚用了没几天es 就赶上一个迁移的事情，对es还没啥了解
求大神帮助
2018-05-22 22:24
tracy_tmac

tracy_tmac

自己在cent os7下编译,request.Header("Content-Type", "application/json")出现编译错误.改完编译通过后,只能从es导出索引值,未能导出到本地文件,为什么呢?
2018-07-05 15:34
tracy_tmac

tracy_tmac

但是用你编译好的可执行文件导出时,可以导到本地.
2018-07-05 15:35
tracy_tmac

tracy_tmac

自己编译后的执行完只是打印出了索引值,并无实际文件写入到本地.
2018-07-05 15:36
sheyuyu

sheyuyu

现在能支持2.0到6.0的数据迁移吗？
2018-07-24 10:44
medcl

medcl

6.0的已经支持，https://github.com/medcl/esm/releases/tag/v0.4.1
2018-08-03 22:10
ryf3064

ryf3064

请问这个工具是否支持全量导出和导入，就是不指定索引的那种，将A集群的数据导入B集群，请问参数应该怎么写，还有就是导的时候结构会随之导出导入么？还是要在新的环境里面先建立结构呢？
2018-08-17 14:13
medcl

medcl 回复 ryf3064

两边版本一致的话，支持在线的导入 setting 和 mapping，暂时不支持配置信息导出到文件，支持全量数据。可以先设置好 mapping 再导入数据。
2018-08-17 16:01
huasheng

huasheng

func Request(method string, r string, auth *Auth, body *bytes.Buffer, proxy string) (string, error) 方法，每次new的http.Client，并且没有设置KeepAlive，超时这些，会导致ES集群服务的tcp连接用完的情况，麻烦大神能否改一下。
2018-09-19 11:40
medcl

medcl 回复 huasheng

你用的那个版本啊？好像0.4 fix了啊
2018-09-19 13:58
huasheng

huasheng 回复 medcl

我试一试，还有个问题，就是这个工具很吃内存，普通几千万上亿条数据，esm能吃几个G，如果是导几亿十几亿，内存有时能暴涨20多个G
2018-09-19 14:25
medcl

medcl 回复 huasheng

看来有 bug 啊，待我来撸一把，需要你来帮我测试一下。
2018-09-19 14:29
huasheng

huasheng 回复 medcl

刚刚试了一下，最新版本的tcp链接用完的问题没有了，但是吃内存问题一样，我这边目前导入7亿条，吃了21G的内存，服务器快整蹦了
2018-09-19 14:37
huasheng

huasheng 回复 medcl

最后自己蹦了，报错如下：

net/http.(*persistConn).writeLoop(0xc58b5da000)
/usr/local/Cellar/go/1.10.2/libexec/src/net/http/transport.go:1822 +0x14b
created by net/http.(*Transport).dialConn
/usr/local/Cellar/go/1.10.2/libexec/src/net/http/transport.go:1238 +0x97f

goroutine 579 [IO wait]:
internal/poll.runtime_pollWait(0x7f041a7a56e0, 0x72, 0xc424a859a8)
/usr/local/Cellar/go/1.10.2/libexec/src/runtime/netpoll.go:173 +0x57
internal/poll.(*pollDesc).wait(0xc5770a8418, 0x72, 0xffffffffffffff00, 0x813aa0, 0x98c260)
/usr/local/Cellar/go/1.10.2/libexec/src/internal/poll/fd_poll_runtime.go:85 +0x9b
internal/poll.(*pollDesc).waitRead(0xc5770a8418, 0xc5e8a62000, 0x1000, 0x1000)
/usr/local/Cellar/go/1.10.2/libexec/src/internal/poll/fd_poll_runtime.go:90 +0x3d
internal/poll.(*FD).Read(0xc5770a8400, 0xc5e8a62000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
/usr/local/Cellar/go/1.10.2/libexec/src/internal/poll/fd_unix.go:157 +0x17d
net.(*netFD).Read(0xc5770a8400, 0xc5e8a62000, 0x1000, 0x1000, 0x4515f0, 0xc422a38780, 0x4)
/usr/local/Cellar/go/1.10.2/libexec/src/net/fd_unix.go:202 +0x4f
net.(*conn).Read(0xc4228b8008, 0xc5e8a62000, 0x1000, 0x1000, 0x0, 0x0, 0x0)
/usr/local/Cellar/go/1.10.2/libexec/src/net/net.go:176 +0x6a
net/http.(*persistConn).Read(0xc58b5da000, 0xc5e8a62000, 0x1000, 0x1000, 0xc424a85b98, 0x403355, 0xc55c8922a0)
/usr/local/Cellar/go/1.10.2/libexec/src/net/http/transport.go:1453 +0x136
bufio.(*Reader).fill(0xc61d238180)
/usr/local/Cellar/go/1.10.2/libexec/src/bufio/bufio.go:100 +0x11e
bufio.(*Reader).Peek(0xc61d238180, 0x1, 0x0, 0x0, 0x1, 0xc55c8930e0, 0x0)
/usr/local/Cellar/go/1.10.2/libexec/src/bufio/bufio.go:132 +0x3a
net/http.(*persistConn).readLoop(0xc58b5da000)
/usr/local/Cellar/go/1.10.2/libexec/src/net/http/transport.go:1601 +0x185
created by net/http.(*Transport).dialConn
/usr/local/Cellar/go/1.10.2/libexec/src/net/http/transport.go:1237 +0x95a

goroutine 72 [select]:
net/http.(*persistConn).writeLoop(0xc5f0db97a0)
/usr/local/Cellar/go/1.10.2/libexec/src/net/http/transport.go:1822 +0x14b
created by net/http.(*Transport).dialConn
/usr/local/Cellar/go/1.10.2/libexec/src/net/http/transport.go:1238 +0x97f
2018-09-19 14:38
charles368

charles368 回复 medcl

请问mac是用linux64.tar.gz 这个产出么？
2018-10-15 14:03
medcl

medcl 回复 charles368

mac是darwin64.tar.gz
2018-10-16 16:38
printf_uck

printf_uck

-y参数到底怎么用的？必须在目的集群建了索引才行啊，没建索引的话，虽然也在迁移，但是目的集群根本没有该索引的任何信息，是不是程序的bug？
2018-10-30 17:27
printf_uck

printf_uck

./esm -s http://xx:9200 -d http://tt:9200 -x idx-usercmtrelated-v2 -w=10 -b=10 -c 20000 --shards=5 --copy_settings --copy_mapping --force --refresh
这条语句执行报错“unknown flag `copy_mapping'”，我这是copy的你的命令行，有什么问题吗？
2018-10-30 17:49

要回复文章请先登录或注册

Copyright © 2024 · CC BY-NC-SA 3.0

本站服务器及带宽由 提供赞助