es scroll 每次返回多少数据量合适啊?
bjfk2006 回复了问题 • 4 人关注 • 2 个回复 • 4316 次浏览 • 2017-11-14 17:05
三步上手 esrally 完成 elasticsearch 压测任务
rockybean 发表了文章 • 2 个评论 • 4734 次浏览 • 2017-11-12 11:31
[原文链接](https://segmentfault.com/a/1190000011966008)
距离上一篇 [esrally 教程](https://segmentfault.com/a/1190000011174694)过去快2个月了,这期间不停有同学来询问使用中遇到的问题,尤其由于其测试数据存储在国外 aws 上,导致下载极慢。为了让大家快速上手使用 esrally,我 build 了一个可用的 docker 镜像,然后将 13GB
的测试数据拉取到国内的存储上,通过百度网盘的方式分享给大家。大家只要按照下面简单的几步操作就可以顺畅地使用 esrally 来进行相关测试了。
操作步骤
废话不多说,先上菜!
- 拉取镜像
`<br /> docker pull rockybean/esrally<br />
- 下载数据文件 链接:http://pan.baidu.com/s/1eSrjZgA 密码:aagl
- 进入下载后的文件夹 rally_track,执行如下命令开始测试
<br /> docker run -it -v $(PWD):/root/track rockybean/esrally esrally race --track-path=/root/track/logging --offline --pipeline=benchmark-only --target-hosts=192.168.1.105:9200<br />
打完收工!
几点说明
数据文件介绍
esrally 自带的测试数据即为 rally_track 文件夹中的内容,主要包括:
- Geonames(geonames): for evaluating the performance of structured data.
- Geopoint(geopoint): for evaluating the performance of geo queries.
- Percolator(percolator): for evaluating the performance of percolation queries.
- PMC(pmc): for evaluating the performance of full text search.
- NYC taxis(nyc_taxis): for evaluating the performance for highly structured data.
- Nested(nested): for evaluating the performance for nested documents.
- Logging(logging): for evaluating the performance of (Web) server logs.
- noaa(noaa): for evaluating the performance of range fields.
可以根据自己的需要下载对应的测试数据,不必下载全部,保证对应文件夹下载完全即可。
命令解释
docker 相关
docker run -it rockybean/esrally esrally
为执行的 esrally 命令,-v $(PWD):/root/track
是将 rally_docker 文件夹映射到 docker 容器中,$(PWD)
是获取当前目录的意思,所以在此前要 cd 到 rally_docker 目录,当然你写全路径也是没有问题的。
esrally 的 docker 镜像比较简单,可以参看 [ github 项目介绍][1]。
esrally 相关
该镜像是通过自定义 track 的方式来加载数据,所以命令行中用到
--track=/root/track/logging
的命令行参数。注意这里的/root/track
即上面我们绑定到容器的目录,更换logging
为其他的数据集名称即可加载其他的测试数据。
该容器只支持测试第三方 es 集群,即--pipeline=benchmark-only
模式。这应该也是最常见的压测需求了。
愉快地去玩耍吧!
[1]: https://github.com/rockybean/esrally-docker
- Geonames(geonames): for evaluating the performance of structured data.
segment段文件非常大会有什么问题没?比如说100G一个?
ElastIcPG 回复了问题 • 8 人关注 • 3 个回复 • 4460 次浏览 • 2017-11-14 17:51
kibana的统计查询太慢了。如何定位问题所在
rockybean 回复了问题 • 2 人关注 • 1 个回复 • 11273 次浏览 • 2017-11-11 17:38
sense不能用了改用kibana吧
JiaShiwen 发表了文章 • 0 个评论 • 5332 次浏览 • 2017-11-11 12:34
一、elasticsearch5.5.2+kibana5.5.2
1.下载与elasticsearch版本号一致的kibana安装包,笔者目前开发环境5.5.2,对应kibana版本也为5.5.2(最新的5.6版本会报不兼容错误,不能运行)。
2.配置config/kibana.yml文件,主要配置项如下
# The URL of the Elasticsearch instance to use for all your queries.
#elasticsearch.url: "http://localhost:9200"
elasticsearch.url: "https://192.168.1.1:9281/"
# If your Elasticsearch is protected with basic authentication, these settings provide
# the username and password that the Kibana server uses to perform maintenance on the Kibana
# index at startup. Your Kibana users still need to authenticate with Elasticsearch, which
# is proxied through the Kibana server.
#elasticsearch.username: "user"
#elasticsearch.password: "pass"
elasticsearch.username: "admin"
elasticsearch.password: "admin"
# Optional settings that provide the paths to the PEM-format SSL certificate and key files.
# These files validate that your Elasticsearch backend uses the same key files.
#elasticsearch.ssl.certificate: /path/to/your/client.crt
#elasticsearch.ssl.key: /path/to/your/client.key
elasticsearch.ssl.certificate: /home/develop/kibana-5.6.3-linux-x86_64/config/crts/eshttp.crt
elasticsearch.ssl.key: /home/develop/kibana-5.6.3-linux-x86_64/config/crts/eshttp.key
# To disregard the validity of SSL certificates, change this setting's value to 'none'.
#elasticsearch.ssl.verificationMode: full
elasticsearch.ssl.verificationMode: none各项配置看文件内说明,写的很清楚,这里就不翻译了,其中最重要的是这两样elasticsearch.ssl.certificate和elasticsearch.ssl.key,一定要与服务端保持一致。由于证书是自己生成的,校验项elasticsearch.ssl.verificationMode的值需要改为none。
启动kibana后,通过http://localhose:5601访问即可
java API 聚合
redhat 回复了问题 • 2 人关注 • 1 个回复 • 1977 次浏览 • 2017-11-10 18:44
date_index_name processor 如何设置动态的 prefix
medcl 回复了问题 • 2 人关注 • 2 个回复 • 2267 次浏览 • 2017-11-13 12:01
elastic query内容包含"+"号,无法获得预期查询结果怎么办?
hufuman 回复了问题 • 2 人关注 • 1 个回复 • 2554 次浏览 • 2017-11-11 06:51
Elasticsearch多汇聚查询返回数据格式
zhangg7723 回复了问题 • 2 人关注 • 1 个回复 • 2922 次浏览 • 2017-11-10 14:05
存在自有 mapping 会忽略动态模板中的 mapping 么?
rochy 回复了问题 • 5 人关注 • 3 个回复 • 3008 次浏览 • 2018-11-06 17:44
再次打扰,向你请教一下es集群节点的如果出现硬盘只读的问题
zhangg7723 回复了问题 • 3 人关注 • 2 个回复 • 2702 次浏览 • 2017-11-10 14:09