在 Mapping 里面,将 dynamic 参数设置成 strict 可以拒绝索引包含未知字段的文档。 此条 Tips 由 medcl 贡献。

es scroll 每次返回多少数据量合适啊?

bjfk2006 回复了问题 • 4 人关注 • 2 个回复 • 4316 次浏览 • 2017-11-14 17:05 • 来自相关话题

三步上手 esrally 完成 elasticsearch 压测任务

rockybean 发表了文章 • 2 个评论 • 4734 次浏览 • 2017-11-12 11:31 • 来自相关话题

[原文链接](https://segmentfault.com/a/1190000011966008)

距离上一篇 [esrally 教程](https://segmentfault.com/a/1190000011174694)过去快2个月了,这期间不停有同学来询问使用中遇到的问题,尤其由于其测试数据存储在国外 aws 上,导致下载极慢。为了让大家快速上手使用 esrally,我 build 了一个可用的 docker 镜像,然后将 13GB 的测试数据拉取到国内的存储上,通过百度网盘的方式分享给大家。大家只要按照下面简单的几步操作就可以顺畅地使用 esrally 来进行相关测试了。

操作步骤


废话不多说,先上菜!

  1. 拉取镜像
    `<br /> docker pull rockybean/esrally<br />
  2. 下载数据文件 链接:http://pan.baidu.com/s/1eSrjZgA 密码:aagl
  3. 进入下载后的文件夹 rally_track,执行如下命令开始测试
    <br /> docker run -it -v $(PWD):/root/track rockybean/esrally esrally race --track-path=/root/track/logging --offline --pipeline=benchmark-only --target-hosts=192.168.1.105:9200<br />

    打完收工!

    几点说明


    数据文件介绍

    esrally 自带的测试数据即为 rally_track 文件夹中的内容,主要包括:

    • Geonames(geonames): for evaluating the performance of structured data.
    • Geopoint(geopoint): for evaluating the performance of geo queries.
    • Percolator(percolator): for evaluating the performance of percolation queries.
    • PMC(pmc): for evaluating the performance of full text search.
    • NYC taxis(nyc_taxis): for evaluating the performance for highly structured data.
    • Nested(nested): for evaluating the performance for nested documents.
    • Logging(logging): for evaluating the performance of (Web) server logs.
    • noaa(noaa): for evaluating the performance of range fields.

      可以根据自己的需要下载对应的测试数据,不必下载全部,保证对应文件夹下载完全即可。


      命令解释


      docker 相关

      docker run -it rockybean/esrally esrally 为执行的 esrally 命令,-v $(PWD):/root/track是将 rally_docker 文件夹映射到 docker 容器中,$(PWD)是获取当前目录的意思,所以在此前要 cd 到 rally_docker 目录,当然你写全路径也是没有问题的。

      esrally 的 docker 镜像比较简单,可以参看 [ github 项目介绍][1]。

      esrally 相关

      该镜像是通过自定义 track 的方式来加载数据,所以命令行中用到 --track=/root/track/logging 的命令行参数。注意这里的 /root/track 即上面我们绑定到容器的目录,更换 logging 为其他的数据集名称即可加载其他的测试数据。

      该容器只支持测试第三方 es 集群,即 --pipeline=benchmark-only 模式。这应该也是最常见的压测需求了。


      愉快地去玩耍吧!




      [1]: https://github.com/rockybean/esrally-docker

Transport Client 不轮询

回复

redhat 发起了问题 • 2 人关注 • 0 个回复 • 2118 次浏览 • 2017-11-12 10:41 • 来自相关话题

segment段文件非常大会有什么问题没?比如说100G一个?

ElastIcPG 回复了问题 • 8 人关注 • 3 个回复 • 4460 次浏览 • 2017-11-14 17:51 • 来自相关话题

kibana的统计查询太慢了。如何定位问题所在

rockybean 回复了问题 • 2 人关注 • 1 个回复 • 11273 次浏览 • 2017-11-11 17:38 • 来自相关话题

sense不能用了改用kibana吧

JiaShiwen 发表了文章 • 0 个评论 • 5332 次浏览 • 2017-11-11 12:34 • 来自相关话题

elasticsearch的dsl开发工具sense被google下架了,kibana console是很好的替代品。但是,我们的es集群前些日子因为应付安全检查改为https+basic auth方式(详细配置过程见本人博文:http://blog.csdn.net/jiashiwen ... 14374),kibana需要进行若干配置才能工作。另外老系统中还有elasticsearch2.3.3遗留,需要kibana4.5.1+sense。




一、elasticsearch5.5.2+kibana5.5.2

1.下载与elasticsearch版本号一致的kibana安装包,笔者目前开发环境5.5.2,对应kibana版本也为5.5.2(最新的5.6版本会报不兼容错误,不能运行)。




2.配置config/kibana.yml文件,主要配置项如下 
# The URL of the Elasticsearch instance to use for all your queries.
#elasticsearch.url: "http://localhost:9200&quot;
elasticsearch.url: "https://192.168.1.1:9281/&quot;


# If your Elasticsearch is protected with basic authentication, these settings provide
# the username and password that the Kibana server uses to perform maintenance on the Kibana
# index at startup. Your Kibana users still need to authenticate with Elasticsearch, which
# is proxied through the Kibana server.
#elasticsearch.username: "user"
#elasticsearch.password: "pass"
elasticsearch.username: "admin"
elasticsearch.password: "admin"


# Optional settings that provide the paths to the PEM-format SSL certificate and key files.
# These files validate that your Elasticsearch backend uses the same key files.
#elasticsearch.ssl.certificate: /path/to/your/client.crt
#elasticsearch.ssl.key: /path/to/your/client.key
elasticsearch.ssl.certificate: /home/develop/kibana-5.6.3-linux-x86_64/config/crts/eshttp.crt
elasticsearch.ssl.key: /home/develop/kibana-5.6.3-linux-x86_64/config/crts/eshttp.key


# To disregard the validity of SSL certificates, change this setting's value to 'none'.
#elasticsearch.ssl.verificationMode: full
elasticsearch.ssl.verificationMode: none各项配置看文件内说明,写的很清楚,这里就不翻译了,其中最重要的是这两样elasticsearch.ssl.certificate和elasticsearch.ssl.key,一定要与服务端保持一致。由于证书是自己生成的,校验项elasticsearch.ssl.verificationMode的值需要改为none。




启动kibana后,通过http://localhose:5601访问即可

elasticsearch5.6比5.2版本区别

回复

es_shengbin 发起了问题 • 1 人关注 • 0 个回复 • 3366 次浏览 • 2017-11-10 18:20 • 来自相关话题

es memory lock的问题

回复

benhairui 发起了问题 • 2 人关注 • 0 个回复 • 4727 次浏览 • 2017-11-10 17:58 • 来自相关话题

Elasticsearch自动写副本分片失败

回复

ximing 发起了问题 • 1 人关注 • 0 个回复 • 2918 次浏览 • 2017-11-10 16:58 • 来自相关话题

java API 聚合

redhat 回复了问题 • 2 人关注 • 1 个回复 • 1977 次浏览 • 2017-11-10 18:44 • 来自相关话题

date_index_name processor 如何设置动态的 prefix

medcl 回复了问题 • 2 人关注 • 2 个回复 • 2267 次浏览 • 2017-11-13 12:01 • 来自相关话题

elastic query内容包含"+"号,无法获得预期查询结果怎么办?

hufuman 回复了问题 • 2 人关注 • 1 个回复 • 2554 次浏览 • 2017-11-11 06:51 • 来自相关话题

Elasticsearch多汇聚查询返回数据格式

zhangg7723 回复了问题 • 2 人关注 • 1 个回复 • 2922 次浏览 • 2017-11-10 14:05 • 来自相关话题

存在自有 mapping 会忽略动态模板中的 mapping 么?

rochy 回复了问题 • 5 人关注 • 3 个回复 • 3008 次浏览 • 2018-11-06 17:44 • 来自相关话题

再次打扰,向你请教一下es集群节点的如果出现硬盘只读的问题

zhangg7723 回复了问题 • 3 人关注 • 2 个回复 • 2702 次浏览 • 2017-11-10 14:09 • 来自相关话题