• Term Suggester
• Phrase Suggester
• Completion Suggester
• Context Suggester

PUT /blogs/
{
  "mappings": {
    "tech": {
      "properties": {
        "body": {
          "type": "text"
        }
      }
    }
  }
}

POST _bulk/?refresh=true
{ "index" : { "_index" : "blogs", "_type" : "tech" } }
{ "body": "Lucene is cool"}
{ "index" : { "_index" : "blogs", "_type" : "tech" } }
{ "body": "Elasticsearch builds on top of lucene"}
{ "index" : { "_index" : "blogs", "_type" : "tech" } }
{ "body": "Elasticsearch rocks"}
{ "index" : { "_index" : "blogs", "_type" : "tech" } }
{ "body": "Elastic is the company behind ELK stack"}
{ "index" : { "_index" : "blogs", "_type" : "tech" } }
{ "body": "elk rocks"}
{ "index" : { "_index" : "blogs", "_type" : "tech" } }
{  "body": "elasticsearch is rock solid"}

POST _analyze
{
  "text": [
    "Lucene is cool",
    "Elasticsearch builds on top of lucene",
    "Elasticsearch rocks",
    "Elastic is the company behind ELK stack",
    "elk rocks",
    "elasticsearch is rock solid"
  ]
}

POST /blogs/_search
{ 
  "suggest": {
    "my-suggestion": {
      "text": "lucne rock",
      "term": {
        "suggest_mode": "missing",
        "field": "body"
      }
    }
  }
}

{
  "took": 1,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "failed": 0
  },
  "hits": {
    "total": 0,
    "max_score": 0,
    "hits":
  },
  "suggest": {
    "my-suggestion": [
      {
        "text": "lucne",
        "offset": 0,
        "length": 5,
        "options": [
          {
            "text": "lucene",
            "score": 0.8,
            "freq": 2
          }
        ]
      },
      {
        "text": "rock",
        "offset": 6,
        "length": 4,
        "options":
      }
    ]
  }
}

 "suggest": {
    "my-suggestion": [
      {
        "text": "lucne",
        "offset": 0,
        "length": 5,
        "options": [
          {
            "text": "lucene",
            "score": 0.8,
            "freq": 2
          }
        ]
      },
      {
        "text": "rock",
        "offset": 6,
        "length": 4,
        "options": [
          {
            "text": "rocks",
            "score": 0.75,
            "freq": 2
          }
        ]
      }
    ]
  }

POST /blogs/_search
{
  "suggest": {
    "my-suggestion": {
      "text": "lucne and elasticsear rock",
      "phrase": {
        "field": "body",
        "highlight": {
          "pre_tag": "<em>",
          "post_tag": "</em>"
        }
      }
    }
  }
}

"suggest": {
    "my-suggestion": [
      {
        "text": "lucne and elasticsear rock",
        "offset": 0,
        "length": 26,
        "options": [
          {
            "text": "lucene and elasticsearch rock",
            "highlighted": "<em>lucene</em> and <em>elasticsearch</em> rock",
            "score": 0.004993905
          },
          {
            "text": "lucne and elasticsearch rock",
            "highlighted": "lucne and <em>elasticsearch</em> rock",
            "score": 0.0033391973
          },
          {
            "text": "lucene and elasticsear rock",
            "highlighted": "<em>lucene</em> and elasticsear rock",
            "score": 0.0029183894
          }
        ]
      }
    ]
  }

PUT /blogs_completion/
{
  "mappings": {
    "tech": {
      "properties": {
        "body": {
          "type": "completion"
        }
      }
    }
  }
}

POST _bulk/?refresh=true
{ "index" : { "_index" : "blogs_completion", "_type" : "tech" } }
{ "body": "Lucene is cool"}
{ "index" : { "_index" : "blogs_completion", "_type" : "tech" } }
{ "body": "Elasticsearch builds on top of lucene"}
{ "index" : { "_index" : "blogs_completion", "_type" : "tech" } }
{ "body": "Elasticsearch rocks"}
{ "index" : { "_index" : "blogs_completion", "_type" : "tech" } }
{ "body": "Elastic is the company behind ELK stack"}
{ "index" : { "_index" : "blogs_completion", "_type" : "tech" } }
{ "body": "the elk stack rocks"}
{ "index" : { "_index" : "blogs_completion", "_type" : "tech" } }
{ "body": "elasticsearch is rock solid"}

POST blogs_completion/_search?pretty
{ "size": 0,
  "suggest": {
    "blog-suggest": {
      "prefix": "elastic i",
      "completion": {
        "field": "body"
      }
    }
  }
}

"suggest": {
    "blog-suggest": [
      {
        "text": "elastic i",
        "offset": 0,
        "length": 9,
        "options": [
          {
            "text": "Elastic is the company behind ELK stack",
            "_index": "blogs_completion",
            "_type": "tech",
            "_id": "AVrXFyn-cpYmMpGqDdcd",
            "_score": 1,
            "_source": {
              "body": "Elastic is the company behind ELK stack"
            }
          }
        ]
      }
    ]
  }

PUT /blogs_completion/
{
  "mappings": {
    "tech": {
      "properties": {
        "body": {
          "type": "completion",
          "analyzer": "english"
        }
      }
    }
  }
}

POST blogs_completion/_search?pretty
{ "size": 0,
  "suggest": {
    "blog-suggest": {
      "prefix": "elastic i",
      "completion": {
        "field": "body"
      }
    }
  }
}

POST _analyze?analyzer=english
{
  "text": "elasticsearch is rock solid"
}

会发现只有3个token:
{
  "tokens": [
    {
      "token": "elasticsearch",
      "start_offset": 0,
      "end_offset": 13,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "rock",
      "start_offset": 17,
      "end_offset": 21,
      "type": "<ALPHANUM>",
      "position": 2
    },
    {
      "token": "solid",
      "start_offset": 22,
      "end_offset": 27,
      "type": "<ALPHANUM>",
      "position": 3
    }
  ]
}

1. 在用户刚开始输入的过程中，使用Completion Suggester进行关键词前缀匹配，刚开始匹配项会比较多，随着用户输入字符增多，匹配项越来越少。如果用户输入比较精准，可能Completion Suggester的结果已经够好，用户已经可以看到理想的备选项了。 
2. 如果Completion Suggester已经到了零匹配，那么可以猜测是否用户有输入错误，这时候可以尝试一下Phrase Suggester。
3. 如果Phrase Suggester没有找到任何option，开始尝试term Suggester。

• 《Elastic{ON}17 Keynote 回顾》，QQ 群(190605846)，2017-3-17 21:00 PM，回放
• 《What's new in Elasticsearch 5》，QQ 群(190605846)，2017-3-20 21:00 PM，回放
• 《What's new in Logstash 5》，QQ 群(190605846)，2017-3-21 21:00 PM，回放 

• Elastic Workshop，北京，2017-04-10【报名结束】
• Elastic Workshop，上海，2017-04-17【报名结束】
• Elastic Workshop，深圳，2017-04-20【报名结束】
• Elastic Workshop，上海，2017-06-29【报名结束】
• Elastic Workshop，广州，2017-07-04【报名结束】
• Elastic Workshop，深圳，2017-07-06【报名结束】

• Elastic Meetup Shanghai ，上海，2017.5.14， 【报名结束】【日程】
• Elastic Meetup Beijing ，北京，2017.5.21  【报名结束】【日程】【直播回放】
• Elastic Meetup Nanjing，南京，2017.6.10 【报名结束】【日程】【直播回放】
• Elastic Meetup Hangzhou，杭州，2017.6.25 【报名结束​】【日程】【直播回放】
• Elastic Meetup Changsha，长沙，2017.10.28 【报名结束​】【日程】
• Elastic Meetup Wuhan，武汉，2017.11.4 【报名结束​】【日程】
• Elastic Meetup Guangzhou，广州，2017.11.25 【报名结束​】【日程】
• Elastic Meetup Shenzhen，深圳，2017.12.16 【报名结束​】【日程】

• Gopher China，上海，2017.04.15-2017.04.16
• OSC Shanghai ，上海，2017.5.13
• The China-R Conf，北京，2017.5.19-2017.5.21
• OSC Hangzhou，杭州，2017.6.24
• ArchSummit Shenzhen，深圳，2017.7.7-2017.7.8
• OSC Jinan，济南，2017.7.22
• OSC Zhuhai，珠海，2017.8.27
• RubyConf China，杭州，2017.9.16-17
• OSC Chengdu， 成都，2017.9.23
• OSC Chongqing，重庆，2017.9.24
• ArchSummit Beijing，2017.12.8-2017.12.9

• Apache Module
• Couchbase Module
• Docker Module
• HAProxy Module
• kafka Module
• MongoDB Module
• MySQL Module
• Nginx Module
• PostgreSQL Module
• Prometheus Module
• Redis Module
• System Module
• ZooKeeper Module

import _ "expvar"

func metricsHandler(w http.ResponseWriter, r *http.Request) {

	w.Header().Set("Content-Type", "application/json; charset=utf-8")



	first := true

	report := func(key string, value interface{}) {

		if !first {

			fmt.Fprintf(w, ",\n")

		}

		first = false

		if str, ok := value.(string); ok {

			fmt.Fprintf(w, "%q: %q", key, str)

		} else {

			fmt.Fprintf(w, "%q: %v", key, value)

		}

	}



	fmt.Fprintf(w, "{\n")

	expvar.Do(func(kv expvar.KeyValue) {

		report(kv.Key, kv.Value)

	})

	fmt.Fprintf(w, "\n}\n")

}



func main() {

   mux := http.NewServeMux()

   mux.HandleFunc("/debug/vars", metricsHandler)

   endpoint := http.ListenAndServe("localhost:6060", mux)

}

metricbeat.modules:

  - module: golang

     metricsets: ["heap"]

     enabled: true

     period: 10s

     hosts: ["localhost:6060"]

     heap.path: "/debug/vars"

output.elasticsearch:

  hosts: ["localhost:9200"]

./metricbeat -e -v

var inerInt int64 = 1024

pubInt := expvar.NewInt("your_metric_key")

pubInt.Set(inerInt)

pubInt.Add(2)

./metricbeat -httpprof="127.0.0.1:6060" -e -v

{

"output.events.acked": 1088,

"output.write.bytes": 1027455,

"output.write.errors": 0,

"output.messages.dropped": 0,

"output.elasticsearch.publishEvents.call.count": 24,

"output.elasticsearch.read.bytes": 12215,

"output.elasticsearch.read.errors": 0,

"output.elasticsearch.write.bytes": 1027455,

"output.elasticsearch.write.errors": 0,

"output.elasticsearch.events.acked": 1088,

"output.elasticsearch.events.not_acked": 0,

"output.kafka.events.acked": 0,

"output.kafka.events.not_acked": 0,

"output.kafka.publishEvents.call.count": 0,

"output.logstash.write.errors": 0,

"output.logstash.write.bytes": 0,

"output.logstash.events.acked": 0,

"output.logstash.events.not_acked": 0,

"output.logstash.publishEvents.call.count": 0,

"output.logstash.read.bytes": 0,

"output.logstash.read.errors": 0,

"output.redis.events.acked": 0,

"output.redis.events.not_acked": 0,

"output.redis.read.bytes": 0,

"output.redis.read.errors": 0,

"output.redis.write.bytes": 0,

"output.redis.write.errors": 0,

"beat.memstats.memory_total": 155721720,

"beat.memstats.memory_alloc": 3632728,

"beat.memstats.gc_next": 6052800,

"cmdline": ["./metricbeat","-httpprof=127.0.0.1:6060","-e","-v"],

"fetches": {"system-cpu": {"events": 4, "failures": 0, "success": 4}, "system-filesystem": {"events": 20, "failures": 0, "success": 4}, "system-fsstat": {"events": 4, "failures": 0, "success": 4}, "system-load": {"events": 4, "failures": 0, "success": 4}, "system-memory": {"events": 4, "failures": 0, "success": 4}, "system-network": {"events": 44, "failures": 0, "success": 4}, "system-process": {"events": 1008, "failures": 0, "success": 4}},

"libbeat.config.module.running": 0,

"libbeat.config.module.starts": 0,

"libbeat.config.module.stops": 0,

"libbeat.config.reloads": 0,

"memstats": {"Alloc":3637704,"TotalAlloc":155

... ...

- module: golang

  metricsets: ["heap","expvar"]

  enabled: true

  period: 1s

  hosts: ["localhost:6060"]

  heap.path: "/debug/vars"

  expvar:

    namespace: "metricbeat"

    path: "/debug/vars"

.es("metricbeat*",metric="max:golang.metricbeat.output.elasticsearch.events.acked").derivative().label("Elasticsearch Success"),.es("metricbeat*",metric="max:golang.metricbeat.output.elasticsearch.events.not_acked").derivative().label("Elasticsearch Failed")

• 修复request熔断器没有正确处理当前运行请求数的bug，当请求返回前却被客户端关闭时没有对计数减一，会造成节点慢慢的不能处理任何请求，除非重启节点，所有的用户都应该升级 #23317
• 修复cgroup正则解析的bug，造成节点的不能正常启动 #23219
• 被shard锁暂缓执行的请求可能会别其他线程启动，并且该请求丢失了上下文，会造成该请求被当做非法请求而拒绝
• 恢复terms agg的include/exclude参数的支持

• 修复持久化队列在windows启用造成的崩溃
• 修复多实例公用相同的数据目录造成的数据损坏
• 修复JVM性能指标收集造成的吞吐影响

•  之前的版本kibana的visualization依赖一个旧的Elasticsearch的include/exclude特性，但是该功能在Elasticsearch5.2.1被突然移除了，引起了kibana的visualization的错误，现在Kibana对新创建的visualization使用正确的结构，并且能在查询时自动转换遗留的旧结构到新的结构
• 从5.2.0开始，包含sub-bucket的垂直条形图（vertical bar）配置为分组没有合适的缩减y轴，造成相当小甚至某些情况下不可用，这次回归将再次对y轴进行必要的扩展而不管其条形图的模式

• Metricbeat修复当docker容器被kill掉造成的docker 模块挂起的bug
• Metricbeat修复超时时间设置而不是默认值

我们感谢您参与本次问卷调查！问题集中在您想参加的线下活动类型，调查结果将被用来使组织者更好地安排活动计划。本调查预计需要花费2 - 5分钟才能完成。我们将与所有参与调查的人分享任何有趣的发现。所有收集的信息将保持匿名。为了鼓励大家花费这一天中的几分钟时间，将随机抽取五个人赢得 $50 美元的亚马逊礼品卡和十五个人将赢得 Elastic Stack 特别版T恤。为了进行抽奖活动，我们会在调查结束时要求您提供电子邮件，但只会用它来让您知道如果您中奖了。

• 当存储字段配置为“best_compression",我们依赖于 JVM 回收机制来释放解压缩实例（Deflater/Inflater instances）。然而这些类也行只使用了很少的 JVM 堆栈内存，却使用了大量了本地内存，所以可能 会出现在 JVM 回收解压缩实例之前而操作系统先用完了本地内存。 LUCENE-7647。
• 特定的查询可能会持有 IndexReader 的一个引用，当这些查询被缓存之后，本来应该已经被删除的段会因为这个引用而继续被 Lucene 持有。LUCENE-7657。

• Geo distance range 废弃，请使用`geo_distance` bucket aggregation 或 geo_distance sort来替代。#22835。

• 分配解释 API（allocation explaining）在未分配主分片信息中包含陈旧的副本信息（不管是陈旧还是损坏的）#22826。

• 如果查询超时，将缓存结果置为无效。#22807。
• Reindex 接口支持来源 es 版本<2.0，当不能清除旧的 scroll 不记录日志。
• 将参数：search.highlight.term_vector_multi_value 保留为节点级别。

1. 折叠+取 inner_hits 分两阶段执行（组合聚合的方式只有一个阶段），所以 top hits 永远是精确的。
2. 字段折叠只在 top hits 层执行，不需要每次都在完整的结果集上对为每个折叠主键计算实际的 doc values 值，只对 top hits 这小部分数据操作就可以，和 term agg 相比要节省很多内存。
3. 因为只在 top hits 上进行折叠，所以相比组合聚合的方式，速度要快很多。
4. 折叠 top docs 不需要使用全局序列（global ordinals）来转换 string，相比 agg 这也节省了很多内存。
5. 分页成为可能，和常规搜索一样，具有相同的局限，先获取 from+size 的内容，再合并。
6. search_after 和 scroll 暂未实现，不过具备可行性。
7.  折叠只影响搜索结果，不影响聚合，搜索结果的 total 是所有的命中纪录数，去重的结果数未知（无法计算）。

• 先准备索引和数据，这里以菜谱为例，name：菜谱名，type 为菜系，rating 为用户的累积平均评分

DELETE recipes

PUT recipes

POST recipes/type/_mapping

{

  "properties": {

    "name":{

      "type": "text"

    },

    "rating":{

      "type": "float"

    },"type":{

      "type": "keyword"

    }

  }

}

POST recipes/type/

{

  "name":"清蒸鱼头","rating":1,"type":"湘菜"

}



POST recipes/type/

{

  "name":"剁椒鱼头","rating":2,"type":"湘菜"

}



POST recipes/type/

{

  "name":"红烧鲫鱼","rating":3,"type":"湘菜"

}



POST recipes/type/

{

  "name":"鲫鱼汤（辣）","rating":3,"type":"湘菜"

}



POST recipes/type/

{

  "name":"鲫鱼汤（微辣）","rating":4,"type":"湘菜"

}



POST recipes/type/

{

  "name":"鲫鱼汤（变态辣）","rating":5,"type":"湘菜"

}



POST recipes/type/

{

  "name":"广式鲫鱼汤","rating":5,"type":"粤菜"

}



POST recipes/type/

{

  "name":"鱼香肉丝","rating":2,"type":"川菜"

}



POST recipes/type/

{

  "name":"奶油鲍鱼汤","rating":2,"type":"西菜"

} 

• 现在我们看看普通的查询效果是怎么样的，搜索关键字带“鱼”的菜，返回3条数据

POST recipes/type/_search

{

  "query": {"match": {

    "name": "鱼"

  }},"size": 3

} 

{

  "took": 2,

  "timed_out": false,

  "_shards": {

    "total": 5,

    "successful": 5,

    "failed": 0

  },

  "hits": {

    "total": 9,

    "max_score": 0.26742277,

    "hits": [

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHYF_OA-dG63Txsd",

        "_score": 0.26742277,

        "_source": {

          "name": "鲫鱼汤（变态辣）",

          "rating": 5,

          "type": "湘菜"

        }

      },

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHXO_OA-dG63Txsa",

        "_score": 0.19100356,

        "_source": {

          "name": "红烧鲫鱼",

          "rating": 3,

          "type": "湘菜"

        }

      },

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHWy_OA-dG63TxsZ",

        "_score": 0.19100356,

        "_source": {

          "name": "剁椒鱼头",

          "rating": 2,

          "type": "湘菜"

        }

      }

    ]

  }

}

POST recipes/type/_search

{

  "query": {"match": {

    "name": "鱼"

  }},"sort": [

    {

      "rating": {

        "order": "desc"

      }

    }

  ],"size": 3

} 

{

  "took": 1,

  "timed_out": false,

  "_shards": {

    "total": 5,

    "successful": 5,

    "failed": 0

  },

  "hits": {

    "total": 9,

    "max_score": null,

    "hits": [

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHYF_OA-dG63Txsd",

        "_score": null,

        "_source": {

          "name": "鲫鱼汤（变态辣）",

          "rating": 5,

          "type": "湘菜"

        },

        "sort": [

          5

        ]

      },

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHYW_OA-dG63Txse",

        "_score": null,

        "_source": {

          "name": "广式鲫鱼汤",

          "rating": 5,

          "type": "粤菜"

        },

        "sort": [

          5

        ]

      },

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHX7_OA-dG63Txsc",

        "_score": null,

        "_source": {

          "name": "鲫鱼汤（微辣）",

          "rating": 4,

          "type": "湘菜"

        },

        "sort": [

          4

        ]

      }

    ]

  }

}

GET recipes/type/_search

{

  "query": {

    "match": {

      "name": "鱼"

    }

  },

  "sort": [

    {

      "rating": {

        "order": "desc"

      }

    }

  ],"aggs": {

    "type": {

      "terms": {

        "field": "type",

        "size": 10

      },"aggs": {

        "rated": {

          "top_hits": {

            "sort": [{

              "rating": {"order": "desc"}

            }], 

            "size": 1

          }

        }

      }

    }

  }, 

  "size": 0,

  "from": 0

} 

{

  "took": 4,

  "timed_out": false,

  "_shards": {

    "total": 5,

    "successful": 5,

    "failed": 0

  },

  "hits": {

    "total": 9,

    "max_score": 0,

    "hits": []

  },

  "aggregations": {

    "type": {

      "doc_count_error_upper_bound": 0,

      "sum_other_doc_count": 0,

      "buckets": [

        {

          "key": "湘菜",

          "doc_count": 6,

          "rated": {

            "hits": {

              "total": 6,

              "max_score": null,

              "hits": [

                {

                  "_index": "recipes",

                  "_type": "type",

                  "_id": "AVoESHYF_OA-dG63Txsd",

                  "_score": null,

                  "_source": {

                    "name": "鲫鱼汤（变态辣）",

                    "rating": 5,

                    "type": "湘菜"

                  },

                  "sort": [

                    5

                  ]

                }

              ]

            }

          }

        },

        {

          "key": "川菜",

          "doc_count": 1,

          "rated": {

            "hits": {

              "total": 1,

              "max_score": null,

              "hits": [

                {

                  "_index": "recipes",

                  "_type": "type",

                  "_id": "AVoESHYr_OA-dG63Txsf",

                  "_score": null,

                  "_source": {

                    "name": "鱼香肉丝",

                    "rating": 2,

                    "type": "川菜"

                  },

                  "sort": [

                    2

                  ]

                }

              ]

            }

          }

        },

        {

          "key": "粤菜",

          "doc_count": 1,

          "rated": {

            "hits": {

              "total": 1,

              "max_score": null,

              "hits": [

                {

                  "_index": "recipes",

                  "_type": "type",

                  "_id": "AVoESHYW_OA-dG63Txse",

                  "_score": null,

                  "_source": {

                    "name": "广式鲫鱼汤",

                    "rating": 5,

                    "type": "粤菜"

                  },

                  "sort": [

                    5

                  ]

                }

              ]

            }

          }

        },

        {

          "key": "西菜",

          "doc_count": 1,

          "rated": {

            "hits": {

              "total": 1,

              "max_score": null,

              "hits": [

                {

                  "_index": "recipes",

                  "_type": "type",

                  "_id": "AVoESHY3_OA-dG63Txsg",

                  "_score": null,

                  "_source": {

                    "name": "奶油鲍鱼汤",

                    "rating": 2,

                    "type": "西菜"

                  },

                  "sort": [

                    2

                  ]

                }

              ]

            }

          }

        }

      ]

    }

  }

}

GET recipes/type/_search

{

  "query": {

    "match": {

      "name": "鱼"

    }

  },

  "collapse": {

    "field": "type"

  },

  "size": 3,

  "from": 0

}

{

  "took": 1,

  "timed_out": false,

  "_shards": {

    "total": 5,

    "successful": 5,

    "failed": 0

  },

  "hits": {

    "total": 9,

    "max_score": null,

    "hits": [

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoDNlRJ_OA-dG63TxpW",

        "_score": 0.018980097,

        "_source": {

          "name": "鲫鱼汤（微辣）",

          "rating": 4,

          "type": "湘菜"

        },

        "fields": {

          "type": [

            "湘菜"

          ]

        }

      },

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoDNlRk_OA-dG63TxpZ",

        "_score": 0.013813315,

        "_source": {

          "name": "鱼香肉丝",

          "rating": 2,

          "type": "川菜"

        },

        "fields": {

          "type": [

            "川菜"

          ]

        }

      },

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoDNlRb_OA-dG63TxpY",

        "_score": 0.0125863515,

        "_source": {

          "name": "广式鲫鱼汤",

          "rating": 5,

          "type": "粤菜"

        },

        "fields": {

          "type": [

            "粤菜"

          ]

        }

      }

    ]

  }

}

{

  "took": 1,

  "timed_out": false,

  "_shards": {

    "total": 5,

    "successful": 5,

    "failed": 0

  },

  "hits": {

    "total": 9,

    "max_score": null,

    "hits": [

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoDNlRw_OA-dG63Txpa",

        "_score": 0.012546891,

        "_source": {

          "name": "奶油鲍鱼汤",

          "rating": 2,

          "type": "西菜"

        },

        "fields": {

          "type": [

            "西菜"

          ]

        }

      }

    ]

  }

}

GET recipes/type/_search

{

  "query": {

    "match": {

      "name": "鱼"

    }

  },

  "collapse": {

    "field": "type",

    "inner_hits": {

      "name": "top_rated",

      "size": 2,

      "sort": [

        {

          "rating": "desc"

        }

      ]

    }

  },

  "sort": [

    {

      "rating": {

        "order": "desc"

      }

    }

  ],

  "size": 2,

  "from": 0

}

{

  "took": 1,

  "timed_out": false,

  "_shards": {

    "total": 5,

    "successful": 5,

    "failed": 0

  },

  "hits": {

    "total": 9,

    "max_score": null,

    "hits": [

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHYF_OA-dG63Txsd",

        "_score": null,

        "_source": {

          "name": "鲫鱼汤（变态辣）",

          "rating": 5,

          "type": "湘菜"

        },

        "fields": {

          "type": [

            "湘菜"

          ]

        },

        "sort": [

          5

        ],

        "inner_hits": {

          "top_rated": {

            "hits": {

              "total": 6,

              "max_score": null,

              "hits": [

                {

                  "_index": "recipes",

                  "_type": "type",

                  "_id": "AVoESHYF_OA-dG63Txsd",

                  "_score": null,

                  "_source": {

                    "name": "鲫鱼汤（变态辣）",

                    "rating": 5,

                    "type": "湘菜"

                  },

                  "sort": [

                    5

                  ]

                },

                {

                  "_index": "recipes",

                  "_type": "type",

                  "_id": "AVoESHX7_OA-dG63Txsc",

                  "_score": null,

                  "_source": {

                    "name": "鲫鱼汤（微辣）",

                    "rating": 4,

                    "type": "湘菜"

                  },

                  "sort": [

                    4

                  ]

                }

              ]

            }

          }

        }

      },

      {

        "_index": "recipes",

        "_type": "type",

        "_id": "AVoESHYW_OA-dG63Txse",

        "_score": null,

        "_source": {

          "name": "广式鲫鱼汤",

          "rating": 5,

          "type": "粤菜"

        },

        "fields": {

          "type": [

            "粤菜"

          ]

        },

        "sort": [

          5

        ],

        "inner_hits": {

          "top_rated": {

            "hits": {

              "total": 1,

              "max_score": null,

              "hits": [

                {

                  "_index": "recipes",

                  "_type": "type",

                  "_id": "AVoESHYW_OA-dG63Txse",

                  "_score": null,

                  "_source": {

                    "name": "广式鲫鱼汤",

                    "rating": 5,

                    "type": "粤菜"

                  },

                  "sort": [

                    5

                  ]

                }

              ]

            }

          }

        }

      }

    ]

  }

}

1. 新增数字和日期范围字段类型，非常方便对范围类型进行交并集的查询，比如你的数据是日历类型的数据，每天都有一些会议信息，会议的开始和结束时间都不同，你想看本周那天有空，可以使用 range fields 很方便的进行查询。了解更多
2. 新增分片分配解释 API，会告知分片失败的具体原因，如分片损坏、磁盘写满还是配置错误，进行快速运维，以前只能根据经验到处寻找可能是什么问题，费事费力，了解更多。
3. 对 Keyword 类型标准化，在5.0将 string 类型拆成了 text 和 keyword两种类型，text 支持分词，keyword 则不分词默认支持 doc values，不过有时候你还需要对 keyword 类型进行一些标准化处理，如都转成小写，现在可以使用 normalizers 参数来指定标准化的 filter。
4. Terms 聚合的分区，terms 聚合默认返回10个 term，以前如果你需要返回全部的 term 列表是不可能的任务（基于内存压力），现在你可以通过将请求分区，以多次请求的方式来取回这些数据，了解更多。
5. 字段折叠，在搜索时可以按某个字段的值进行折叠，在每个折叠的值内进行排序选取 topN，了解更多。

1. 新的监控 UI，现在 X-Pack 也能监控 logstash 了，X-Pack 基础免费版就包括，如下图：
   
   
2. 更多的监控 API，新增3个类型的统计信息：cgroup、持久化队列和 output新增持续时间字段。
3. 离线插件管理，在很多没有公网的部署环境，都需要离线安装，以前的离线安装不够完善，尽管大部分插件没问题，但是还是存在个别插件的依赖链下载不完整的问题，为了解决这个问题，我们基本上重新设计了整个工作流程使用了新的方式来打包插件和他所有的依赖，了解更多。

1. 支持 Elasticsearch Tribe 节点，在“admin”集群的基础上，引入了新的“data”集群，“data”集群可以理解成 Kibana 后面的数据来源，可以是 tribe 节点，而“admin”集群是存放 kibana 可视化信息“。kibana”索引的地方，默认 data 和 admin 集群都是在同一个集群，且不能是 tribe 节点，目前还有一些细节正在处理，如 console 还不能很好的工作。
2. 增加新的可视化类型：热点图（heatmap），可以很方便的按区间和按时间来显示数据的范围分布，如下图：
   
3. 开始进行国际化的支持，感谢 IBM 团队的努力，目前已经提供了基础的框架支持，虽然是万里长征的第一大步，但也是非常激动人心的。
4. 地图服务的改进，Elastic 自己的 Tile 地图服务已经上线几个月了，我们现在能提供10个级别的缩放了，X-Pack 基础用户可以达到12个级别的缩放，并且我们正在尝试18个级别的缩放，并且从5.2开始，我们能让这些级别动态调整，不用发布新的 Kibana。
5. 监控容器中的 Elasticsearch，现在我们可以监控容器里面的 Elasticsearch 实例的运行情况了，CPU 利用率、GC、堆栈使用情况等，如下图：
   

1. 新增 Beat：Heartbeat，一个新的正式的官方beat 成员，用于可用性监控，和所有的 beat 一样，轻量级，Heartbeat 可以用于很多场景，比如安全，你不希望暴露某个端口时，使用 Heartbeat，当你发现该端口对外开启了，就可以触发通知，或者服务/网站可用性检测，服务down 了可以及时感知，目前支持：ICMP、TCP 和 HTTP 类型的监控，目前 Heartbeat还处于 beat 阶段，暂不推荐用于生产环境。
2. Metricbeat 可跟踪网络连接，从5.2开始，Metricbeat 导出了 linux 系统的应用程序的网络连接信息，每个进程打开的 tcp 套接字，本地及远程的 ip 都包含在内，基于它，你可以进行如下的图分析：
   
3. 收集Prometheus导出的指标，从5.2开始，监控系统普罗米修斯的收集模块导出的数据可以提供给 Metricbeat 然后索引进 Elasticsearch。

1. 9200的 HTTP 接口之上加上 Nginx 来提供 Http Basic-Auth 的基本的身份认证，辅助 SSL 证书进行传输层的加密，Nginx 进一步限制可接受 Verb 请求类型及可被操作的索引前缀。
2. 使用 Elastic 的 X-Pack 插件，同样提供了 Http Basic-Auth 和 SSL 传输层的加密，X-Pack 还能提供内外 Elasticsearch 集群节点间的流量加密，避免旁路攻击。

sudo -u es-user ES_JAVA_OPTS="-Xms1024m -Xmx1024m"  /opt/elasticsearch/bin/elasticsearc

1. 使用开源的 Elastic Stack 收集这些日志，可以使用 Filebeat 收集日志，Metricbeat收集系统监控信息，存进 Elasticsearch，一旦发现异常的波动，使用 Watcher 来进行预警，通过邮件或者 webhook 调用短信、微信或者电话。
2. 使用其他厂商的安全监控产品。
3. 使用托管的 Elasticsearch 云的产品，如 Elastic Cloud等等。

如果你有一个想法，把它code出来，build起来。不要等其他人的开源代码，有可能你会等到，但是有可能你永远等不到。在你写出来之后，你没准会收获惊喜。