一、★★★★★★★单机版安装及环境配置★★★★★★★
安装环境 CentOS release 6.7 (Final)
1、因Elasticsearch是基于Java写的，所以它的运行环境中需要java的支持，在Linux下执行命令：
java -version，检查Jar包是否安装
安装java版本至少是1.8以上

2、首先准备下载Elasticsearch5.5.0 安装包
wget https://artifacts.elastic.co/d ... earch

3、下载到/usr/openv 目录下，解压
tar -zxvf  elasticsearch-5.5.0.tar.gz

4、因为Elasticsearch5.0之后,不能使用root账户启动,我们先创建一个esuser组和账户
useradd  esuser -g esuser -p esuser

5.更改文件夹权限
chown -R esuser:esuser /usr/openv/elasticsearch-5.5.0

6、启动elasticsearch：
/usr/openv/elasticsearch-5.5.0/bin
su esuser
./elasticsearch    (前台启动)
这时候我们看见下面的提示，说明就成功了：
    1.    [elasticsearch@vmlnx-sma bin]$ ./elasticsearch  
2.    [2017-03-02T21:43:21,185][INFO ][o.e.n.Node               ] [] initializing ...  
3.    [2017-03-02T21:43:21,264][INFO ][o.e.e.NodeEnvironment    ] [uY3prpy] using [1] data paths, mounts [[/ (/dev/mapper/VolGroup-lv_root)]], net usable_space [43.5gb], net total_space [54.6gb], spins? [possibly], types [ext4]  
4.    [2017-03-02T21:43:21,265][INFO ][o.e.e.NodeEnvironment    ] [uY3prpy] heap size [1.9gb], compressed ordinary object pointers [true]  
5.    [2017-03-02T21:43:21,268][INFO ][o.e.n.Node               ] node name [uY3prpy] derived from node ID [uY3prpyqTHim5twauiVWhQ]; set [node.name] to override  
6.    [2017-03-02T21:43:21,271][INFO ][o.e.n.Node               ] version[5.2.2], pid[5602], build[f9d9b74/2017-02-24T17:26:45.835Z], OS[Linux/3.10.5-3.el6.x86_64/amd64], JVM[Oracle Corporation/OpenJDK 64-Bit Server VM/1.8.0_121/25.121-b13]  
7.    [2017-03-02T21:43:22,226][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [aggs-matrix-stats]  
8.    [2017-03-02T21:43:22,226][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [ingest-common]  
9.    [2017-03-02T21:43:22,226][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-expression]  
10.    [2017-03-02T21:43:22,227][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-groovy]  
11.    [2017-03-02T21:43:22,227][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-mustache]  
12.    [2017-03-02T21:43:22,227][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [lang-painless]  
13.    [2017-03-02T21:43:22,228][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [percolator]  
14.    [2017-03-02T21:43:22,228][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [reindex]  
15.    [2017-03-02T21:43:22,228][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [transport-netty3]  
16.    [2017-03-02T21:43:22,229][INFO ][o.e.p.PluginsService     ] [uY3prpy] loaded module [transport-netty4]  
17.    [2017-03-02T21:43:22,230][INFO ][o.e.p.PluginsService     ] [uY3prpy] no plugins loaded  
18.    [2017-03-02T21:43:24,689][INFO ][o.e.n.Node               ] initialized  
19.    [2017-03-02T21:43:24,689][INFO ][o.e.n.Node               ] [uY3prpy] starting ...  
20.    [2017-03-02T21:43:24,929][INFO ][o.e.t.TransportService   ] [uY3prpy] publish_address {10.245.250.65:9300}, bound_addresses {10.245.250.65:9300}  
21.    [2017-03-02T21:43:24,948][INFO ][o.e.b.BootstrapChecks    ] [uY3prpy] bound or publishing to a non-loopback or non-link-local address, enforcing bootstrap checks  
22.    [2017-03-02T21:43:28,010][INFO ][o.e.c.s.ClusterService   ] [uY3prpy] new_master {uY3prpy}{uY3prpyqTHim5twauiVWhQ}{AqALBH68RCucWcPmHCE6dw}{10.245.250.65}{10.245.250.65:9300}, reason: zen-disco-elected-as-master ([0] nodes joined)  
23.    [2017-03-02T21:43:28,034][INFO ][o.e.h.HttpServer         ] [uY3prpy] publish_address {10.245.250.65:9200}, bound_addresses {10.245.250.65:9200}  
24.    [2017-03-02T21:43:28,034][INFO ][o.e.n.Node               ] [uY3prpy] started  
25.    [2017-03-02T21:43:28,061][INFO ][o.e.g.GatewayService     ] [uY3prpy] recovered [0] indices into cluster_state  

./elasticsearch -d (后台启动)

执行 curl http://localhost:9200

打开另一个终端进行测试：
curl 'http://localhost:9200/?pretty'

你能看到以下返回信息：

{
   "status": 200,
   "name": "Shrunken Bones",
   "version": {
      "number": "1.4.0",
      "lucene_version": "4.10"
   },
   "tagline": "You Know, for Search"
}

说明安装成功。
但是我们希望能够使用ip访问，那么还需要设置相关内容
跳转到Elasticsearch的config配置文件下，使用vim打开elasticsearch.yml，找到里面的"network.host",将其改为本机IP,保存。

cd elasticsearch/config/

vim elasticsearch.yml

重启ElasticSearch，然后使用http://192.168.37.137:9200/访问。

二、★★★★★★★常见错误★★★★★★★

问题一：警告提示
[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: 
java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in
at org.elasticsearch.bootstrap.Seccomp.linuxImpl(Seccomp.java:349) ~[elasticsearch-5.0.0.jar:5.0.0]
at org.elasticsearch.bootstrap.Seccomp.init(Seccomp.java:630) ~[elasticsearch-5.0.0.jar:5.0.0]
报了一大串错误，其实只是一个警告。
解决：使用心得linux版本，就不会出现此类问题了。
 
问题二：ERROR: bootstrap checks failed
max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]
max number of threads [1024] for user [lishang] likely too low, increase to at least [2048]
解决：切换到root用户，编辑limits.conf 添加类似如下内容
vi /etc/security/limits.conf 
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
 
问题三：max number of threads [1024] for user [lish] likely too low, increase to at least [2048]
解决：切换到root用户，进入limits.d目录下修改配置文件。
vi /etc/security/limits.d/90-nproc.conf 
修改如下内容：
* soft nproc 1024
#修改为
* soft nproc 2048
 
问题四：max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
解决：切换到root用户修改配置sysctl.conf
vi /etc/sysctl.conf 
添加下面配置：
vm.max_map_count=655360
并执行命令：
sysctl -p
然后，重新启动elasticsearch，即可启动成功。

三、★★★★★★★★★★★★★★★★★★★
查看集群健康状态：curl -XGET 'http://localhost:9200/_cluster/health?pretty=true' 
                  
查看本地节点信息：curl -XGET http://localhost:9200/

其它一些命令：

查看集群状态：curl -XGET http://localhost:9200/_cat/health?v
              curl -XGET 'http://localhost:9200/_cluster/state?pretty'
              curl -XGET 'http://localhost:9200/_cluster/stats?human&pretty'

查看集群节点：curl -XGET http://localhost:9200/_cat/nodes?v
              curl -XGET 'http://localhost:9200/_nodes/stats?pretty'
              curl -XGET 'http://localhost:9200/_nodes/stats/os,process?pretty'

查询索引列表：curl -XGET http://localhost:9200/_cat/indices?v

创建索引：curl -XPUT http://localhost:9200/customer?pretty

查询索引：curl -XGET http://localhost:9200/customer/external/1?pretty

删除索引：curl -XDELETE http://localhost:9200/customer?pretty

停服与重启

停止ES服务器
如果是前台启动，直接Ctrl+Z或者直接关掉命令行窗口，则服务器立即停止。

如果是通过后台启动的ES服务，则需要用如下命令停止服务器：

也可以直接在Window系统的服务列表中找到安装的服务，然后右键停止。

另外，还可以通过curl工具来关掉整个集群或者集群中的指定节点，命令如下：

关掉集群：curl -XPOST http://localhost:9200/-cluster/nodes/_shutdown。

关掉指定的节点，节点标识符为jMJhGirhSRa9Iw2fQtjJ5A：curl -XPOST http://localhost:9200/_cluster ... tdown。

重启ES服务器

如果是想再次重启已经启动的ES服务，可以在Window系统的服务列表中找到安装的服务，然后右键重新启动即可。





























收起阅读 »

1.改造 Filebeat，让你的 Filebeat 支持更多功能并且性能至少提升三倍
http://t.cn/RNZUcJq 

2.基于 ELKB 架构的欢乐逛大数据平台
http://t.cn/RCj62cL 

3. Streaming SQL on Kafka
http://t.cn/RNhatJX 
 
4. 腾讯招聘ES研发工程师
https://elasticsearch.cn/article/239

编辑：江水
归档：https://elasticsearch.cn/article/248
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.Spark2最令人关注的Spark Structured Streaming，ES-Hadoop 6.0将对其完美支持。http://t.cn/RCgciXG 

2.五个你需要知道的Logstash的过滤器插件。http://t.cn/RCe9Zy2 

3.Yelp将核心商家搜索功能迁移至Elasticsearch，看看他们是如何一步步攻克技术难题的吧！http://t.cn/R9flGaF 

编辑：叮咚光军
归档：https://elasticsearch.cn/article/247
订阅：https://tinyletter.com/elastic-daily 
  收起阅读 »

1. 删除的文档还会增加index体积？点击这里查看lucene如何处理被删除的文档
http://t.cn/RC1APZi
2. kibana数据无法区别?使用kibana-own-home来给每个用户的kibana数据有一个自己的家吧
http://t.cn/RC16dXZ
3. 还在用es 2.x ? 一行代码让你的查询速度加快30倍
http://t.cn/RI5vDAB 

编辑：cyberdak
归档：https://www.elasticsearch.cn/article/246
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1.floragunn公司的Search Guard，一个Elasticsearch的安全套件：
http://t.cn/RCmlB4S
2.(自备梯子)在Django项目中使用ElasticSearch作为搜索引擎：
http://t.cn/RCmlFVS
3.一周热点，为什么我们需要区块链，区块链和传统数据库应用的比较：
http://t.cn/RCmjzIx

编辑：至尊宝
归档：https://elasticsearch.cn/article/245
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. 几种验证es与源数据是否同步的简单方法

http://t.cn/RCTARnH

2. 对于英语除了设置Standard分析器,你还可以利用官方提供的tokenizer和filter选项构建更适合自己的分析器

http://t.cn/RCTbs2d

3. 有关es数据的备份和恢复，留着以备不时之需。

http://t.cn/RCQaeOJ

编辑：bsll




归档：https://www.elasticsearch.cn/article/244

订阅：https://tinyletter.com/elastic-daily 收起阅读 »

一个关于模糊查询的问题，比如我的每条日志都有几个标签：namespace , app , service ,pod等等，要在按照这几个标签查出来的日志中进行模糊匹配（即关键字搜索），该怎么写查询语句？下面这个查询语句无法达到预期，就是不能满足在规定了namespace和application之后，再进行的模糊查询，而结果能匹配我所需要的。实际情况却是，只能查出来namespace=default和app=test下面的所有日志，而不能进一步的匹配包含“goose migrate start”这句话的日志
{
  "query": {
    "bool": {
      "must": [
        {
          "term": {
            "kubernetes.namespace": "default"
          }
        },
        {
          "term": {
            "kubernetes.labels.application": "test"
          }
        }
      ],
      "should": [
        {
          "match_phrase": {
            "log": {
              "query": "goose migrate start",
              "slop":  50
            }
          }
        }
      ]
    }
  } 收起阅读 »

UpdateRequest的upsert方法
插入10000条数据：处理时间154998ms   处理时间188853ms   处理时间85979ms   处理时间128720ms   处理时间140181ms  
处理时间156794ms 
去掉一个最大值、最小值后的平均值：145173.25

更新10000条数据：处理时间106973ms    处理时间80587ms   处理时间148659ms  处理时间314724ms   处理时间89156ms  处理时间115655ms 处理时间79783ms  处理时间111543ms  处理时间85369ms  处理时间95792ms  处理时间93313ms 处理时间145522ms
去掉一个最大值、最小值后的平均值：107257ms
 
prepareIndex(只能插入新数据，不能用来更新数据，否则会覆盖原有的数据)
处理时间60551ms
处理时间45032ms
处理时间95328ms
处理时间39207ms
处理时间75165ms
  收起阅读 »

 1. es基础入门知识图谱——让你少走半年弯路！
http://t.cn/RC0RJBB 

2.  ES java API选型看过来 | ES java API深入详解
http://t.cn/RC088PO 

3.  携程技术中心干货 | Elasticsearch相关性打分机制
http://t.cn/RCS5CGR 
 

编辑：laoyang360

归档：https://elasticsearch.cn/article/240
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

【腾讯 - 深圳】 ES研发工程师
工作职责：
Elasticsearch相关产品的新功能设计、开发、运营和维护工作；
Elasticsearch内核的修改、特性增强等工作；
跟进研究业界前沿技术，推动产品技术升级；

职位要求：
1. 编程能力扎实，熟悉Java/C++中的一种，具有良好的数据结构、算法、操作系统等计算机基本知识；
2. 熟悉ElasticSearch/Lucene开源系统，有实际开发经验者优先；
3. 熟悉Hadoop、HBase、InfluxDB等开源系统，有云计算相关开发经验者优先；
4. 具有敏捷开发、完整产品生命周期开发者优先；
5. 学习能力强，善于独立思考，思维活跃，对技术有强烈激情；

腾讯正在推动ES相关云产品，工作地点深圳，欢迎投递简历：johngqjiang@tencent.com
  收起阅读 »

1.即将在elasticsearch 6.0中发布索引排序使用场景及注意事项：http://t.cn/RCCPeZU

2.再来一篇elasticsearch业务场景的性能调优指南：http://t.cn/RCChPYU

3.Elasticsearch 5.x 源码分析 -用plugin来拦截Request、Response 的可行性调研：http://t.cn/R99MMAM

编辑：金桥
归档：https://elasticsearch.cn/article/238
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

1. 京东架构师带你了解基于 Elasticsearch 的卖家日志系统：
http://t.cn/RChUuuA 

2. 老牌架构 ELK 和后起之秀 Graylog 究竟有何差别：
http://t.cn/RCSZiFj 

3. 基于 Elasticsearch 和 Tensorflow 的搜索引擎，花式玩法、仅供参考：
http://t.cn/Ri83uFG 
 
编辑：江水
 
归档：https://elasticsearch.cn/article/237
订阅：https://tinyletter.com/elastic-daily 收起阅读 »

岗位职责：
1. 参与/负责地图的个性化的推荐排序 
2. 参与/负责亿级别的用户画像，位置画像及知识库建设 
任职资格：
1. 对数据有敏感的分析能力，能设计合理的效果评价指标，并制定相应的规划 
2. 熟悉常见的分类，聚类，LTR，深度学习等机器学习算法，有推荐领域相关经验
3. 熟练使用C、C++ /Python 
4. 熟悉Linux/Unix 环境开发经验，有hadoop/spark等大数据平台工作经验 
5. 有LBS和搜索相关工作经验优先 
6. 有用户画像，知识库建设相关工作经验者优先 收起阅读 »

有意者请投递简历至邮箱zx@foundingaz.com岗位职责：
• 能够熟练使用ODPS、Hadoop实现大数据挖掘和统计工作； 
• 能够基于地图积累的大数据，为了业务目标，完成数据清洗、样本去噪、特征选取分析、模型建立和预估实现等整个流程； 
• 对地图和导航具有一定的看法，能够从问题中提取优化点和工作内容，配合部门目标高效开展工作； 
• 使用阿里大数据平台和算法工具完成模型的工程化，并与业务部门沟通合作，将数据模型应用于实际业务；
任职资格：
• 数据挖掘理论基础，包括回归、决策树、SVM、朴素贝叶斯、神经网络、k-means、PLSA\LDA\HMM等常用算法的适用场景、优点、缺点以及弥补办法 
• 具有包含上述2种以上的模型算法的项目实践经验 
• 熟练掌握Hive\SQL，开展项目工作 
• JAVA\C++\python 至少熟练掌握一种编程语言 
• 数据掘项目经验丰富，在挖掘模型应用上有成功案例，对数据挖掘方法论有深刻理解，能深入分析、定位业务问题，利用挖掘模型解决 
• 熟悉Hadoop、Hive、流式计算、实时计算等大数据相关技术者优先 
• 具有统计理论知识者优先
有意者请投递简历至邮箱zx@foundingaz.com 收起阅读 »

1.你知道ES可以索引PDF、IP地理位置、用户代理信息吗，qbox工程师为你解惑。http://t.cn/RC2HmNs 

2.ES6强大的集群认证和TLS安全特性，让我们来一探究竟。http://t.cn/RCxlBuj 

3.内功修练，面试必备，Solr和ES TOP15的差异，你能道出多少？http://t.cn/RC2Rf1G 

编辑：叮咚光军
归档：https://elasticsearch.cn/article/234
订阅：https://tinyletter.com/elastic-daily 
  收起阅读 »