rally,设置1个client(bulk 为3000)测试写入elasticsearch,速度为5000每秒(可能是数据比较大),查看服务器负载cpu ,IO并不高。
rally,设置10个client(bulk 为3000)测试写入elasticsearch,速度为30000+每秒(可能是数据比较大),查看服务器负载cpu ,大约用了70%。
请问一下,
1、在设置1个client下,还能优化ES的写入速度么?为啥发挥不出来ES的性能呢?
2、在设置10个client下,写入速度快了,服务器负载也提高了,说明了发挥了ES的性能,ES这个原理是什么?
rally,设置10个client(bulk 为3000)测试写入elasticsearch,速度为30000+每秒(可能是数据比较大),查看服务器负载cpu ,大约用了70%。
请问一下,
1、在设置1个client下,还能优化ES的写入速度么?为啥发挥不出来ES的性能呢?
2、在设置10个client下,写入速度快了,服务器负载也提高了,说明了发挥了ES的性能,ES这个原理是什么?
3 个回复
JiangJibo - 喊我雷锋
赞同来自:
还有性能也和你当前client的带宽有关的,如果10个client不在同一个服务器上可以考虑下这种情形。
zqc0512 - andy zhou
赞同来自:
liuxg - Elastic
赞同来自:
1) 把 replicas 设置为0,这样避免在数据导入时复制数据。等数据导入完毕后,再修改 replicas 的数量为想要的数据
2)在默认的情况下 refresh_interval 为1s,如果你有大批量的数据,你可以把这个 refresh_interval 设置为 -1,等数据导入完毕后,再设置为默认值,或者自己想要的值,