你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
发现
分享
文章
活动
登录
不要急,总有办法的
elasticsearch官方python库性能
Elasticsearch
| 作者
EricShane
| 发布于2018年08月28日 | 阅读数:
4611
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
最近在用python写一个查询ES的服务,发展es官方提供的第三方库elasticsearch.search在并发查询时性能较差。每秒并发20个线程查询时耗时是实际took的10倍左右,但是用jmeter直接开线程并发调用es时又非常快,是不是我配置的不对?求大神
没有找到相关结果
已邀请:
与内容相关的链接
提交
2 个回复
kennywu76
-
Wood
赞同来自:
虽然我对这个库没啥经验,不过感觉上不会实际耗时是实际took的十倍左右,可能和你测试的方法有关系。
也许你清楚,不过还是提醒一下es client到es server是持久化链接,并且线程安全的,因此只需要全局生成一个实例在多线程之间共享。 之前见过有人每个线程里都实例化一次es client,造成并发性能上不去的问题。
另外你的测试方法是否是每秒都起20个新线程然后又销毁? 如果是这样,是否大量创建销毁线程引发了客户端的瓶颈? 考虑用线程池?
JackGe
赞同来自:
es官方压测工具rally就是使用elasticsearch python库来实现的,详见
https://esrally.readthedocs.io ... .html
我们在使用rally压测es时,从rally端端看到的耗时与es查询took是几乎一样的。
你可以直接下载rally源码看下调用elasticsearch.search的传参信息。
https://github.com/elastic/rally
要回复问题请先
登录
或
注册
发起人
EricShane
活动推荐
Aug
15
2025 Zabbix 中国峰会
上海
·
8-15 周五
·
报名中
Oct
17
第27届 GOPS 全球运维大会暨研运数智化技术峰会 · 上海站
上海
·
10-17 周五
·
报名中
相关问题
elasticsearch scroll查询的原理没太懂
我来写第一个帖子-你们都是什么时候知道elasticsearch的?
怎么解决elasticsearch集群占用太多虚拟内存(VIRT)的问题?占用了几十个G,有什么可以对它进行限制的相关设置吗?
elasticsearch 设置 node.data: false 依然有数据
bulk update 重复的文档id 导致更新性能下降?
ElasticSearch-Hadoop的目標是什麼呢??
elasticsearch functionScoreQuery scriptFunction效率问题
Elastic对类似枚举数据的搜索性能优化
如何清理Elasticsearch特定时间段数据?
请教elasticsearch出现unassigned shards根本原因
Elasticsearch聚合操作的时间复杂度是O(n)吗?
问题状态
最新活动:
2018-08-30 10:12
浏览:
4611
关注:
4
人
2 个回复
kennywu76 - Wood
赞同来自:
也许你清楚,不过还是提醒一下es client到es server是持久化链接,并且线程安全的,因此只需要全局生成一个实例在多线程之间共享。 之前见过有人每个线程里都实例化一次es client,造成并发性能上不去的问题。
另外你的测试方法是否是每秒都起20个新线程然后又销毁? 如果是这样,是否大量创建销毁线程引发了客户端的瓶颈? 考虑用线程池?
JackGe
赞同来自:
我们在使用rally压测es时,从rally端端看到的耗时与es查询took是几乎一样的。
你可以直接下载rally源码看下调用elasticsearch.search的传参信息。https://github.com/elastic/rally