头条新闻:Elastic Stack 6.0 发布 beta 版本了。https://www.elastic.co/blog/el ... %3Dcn
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
更多改进:[Beta1 Release Notes]
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。
引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。
支持设置监控的告警邮件发送。
证书过期现在有自动的提示了。
改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。
新增的全屏模式对 Dashboard 的大屏展现更加友好。
更多详情:[6.0 Beta1 Release Notes]
Logstash [下载]
https://www.elastic.co/blog/lo ... eased
X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。
用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。
提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。
一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
更多详情:[Beta1 Release Notes]
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
更多详情:[Release Notes]
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
注意啦,现在 6.0 还没 GA,不建议直接上生产环境,但是鼓励大家本地测试,和 5.0 一样,我们这次也有一个 Elastic Pioneer 活动,踊跃测试并发现 bug 的同学,可以获得 6.0 特殊纪念礼品一份,欢迎大家一起来捉虫,捉到的 Bug 直接在对应的 GitHub 上提交 issue,打上对应的版本 tag,如6.0.0-beta1 即可参与活动。
6.0 beta1 作为一个具备里程碑意义的版本,相比之前的 alpha 版本,又包含了哪些激动人心的新特性呢,下面我们分别来看一下吧。
Elasticsearch [下载] [6.0 Breaking Chages]
https://www.elastic.co/blog/el ... eased
- Sequence numbers and fast recovery
新的序列号机制会为每一个增删改操作分配一个顺序号,可以实现操作层面的细粒度复制,避免低效的基于索引文件的拷贝与 translog 的重做;Translog 使用新的过期机制,默认是 12 小时或者 512MB 大小,方便副本的快速恢复;该特性也为后面的跨数据中心的数据同步铺平了道路。
- Search scalability
移除 _field_stats 接口,现在每个搜索请求多了一个轻量级的 shard prefiltering phase,提前过滤掉不需要参与实践查询的 shards,并在 shard 级别判断查询是否有效,并重写查询,只在真正有相应数据的 shard 上执行查询;新增参数 max_concurrent_shard_requests 来限制单次请求的并发分片请求数。
- Preventing full disks
新增参数来控制当磁盘占用达到某个警戒线之后不允许继续写入;限制 Elasticsearch 的日志占用,默认按 128MB 滚动覆盖,限制 ES 总日志文件大小不超过 2GB。
- Removal of default passwords
为了更加安全,XPack 的默认密码 changeme 去掉了,提供了相应的工具来进行配置。
- 优化 Profiling 的开销占用,进一步较少针对超时及查询取消的检查开销
- 提升 Percolator 的性能
更多改进:[Beta1 Release Notes]
Kibana [下载] [Breaking Changes]
https://www.elastic.co/blog/ki ... eased
- Upgrade Assistant and Rolling Upgrade Support
新增的集群升级助手,属于 X-Pack 的免费功能,自动帮你诊断集群升级要处理的各种问题,支持跨大版本间滚动升级的检测。
- Watcher UI for Threshold Based Alerts
新增提供基于阈值的快速设置 Watcher 预警规则的 UI 界面。
- Experimental Kibana Query Language
引入新的 Kibana 查询语言:Kuery,支持智能提示和错误失败等丰富的特性。
- Refactoring of the Visualizations Code
通过此次重构,开发者不再受限于只能使用 Angular 来做渲染了,以及扩展更多的灵活性,方便对 Kibana 的二次开发。
- X-Pack Monitoring Email Notifications for Cluster Alerts
支持设置监控的告警邮件发送。
- Cluster Alert for X-Pack License Expiration
证书过期现在有自动的提示了。
- New Colors to Improve Accessibility
改进Kibana的可用性,如导航的快捷键支持,对色盲色弱用户的友好支持等。
- Full Screen Mode for Dashboard
新增的全屏模式对 Dashboard 的大屏展现更加友好。
更多详情:[6.0 Beta1 Release Notes]
Logstash [下载]
https://www.elastic.co/blog/lo ... eased
- Pipeline Viewer
X-Pack Basic 新增的免费功能,用户可以非常直观的了解管道配置,以图形化的方式来展现,从而了解数据流向与处理逻辑,包括管道执行的各项重要指标,从而优化 Logstash 性能。
- Centrally manage configurations
用户可以方便的通过图形化 UI 集中式批量管理所有 Logstash 实例的配置文件,并动态修改生效,不需要重启和单独维护每个 Logstash 的实例。
- Ingest to Logstash convertor
提供一个方便将 Elasticsearch Ingest 脚本转换为 Logstash 配置文件的工具。
$LS_HOME/bin/ingest-convert.sh --input file:///tmp/ingest/apache.json --output file:///tmp/ingest/apache.conf
Beats [下载] [Breaking Changes]
https://www.elastic.co/blog/be ... eased
- Auditbeat
一个新的 Beat,通过将 Linux Kernel 内的各种事件统统接入到 Elastic Stack 来进行安全审计。
- New commands and configuration layout
一些常见的操作,你现在可以直接通过命令的方式来快速操作了。
$ metricbeat modules list
$ metricbeat modules enable redis
$ metricbeat modules disable redis
- Add Docker metadata to the Docker logs
将 Docker 相关的元数据附加到日志里面,从而丰富上层的分析与应用,详情可见这篇博客:https://www.elastic.co/blog/en ... ebeat
- Internal pipeline refactoring
Beats 在管道这一块做了大量的重构,现在不支持 1 个管道 2 个输出了。
更多详情:[Beta1 Release Notes]
ES-Hadoop [下载]
https://www.elastic.co/blog/es ... eased
- Spark 2.2.0 and Stable Support for Spark Structured Streaming
- Support for new Join Fields
- Multiple Mappings and Multiple Index Reads
更多详情:[Release Notes]
上面介绍的众多特性,相信总有一个能让你动心,赶紧下载试试吧,记得反馈哦!
[尊重社区原创,转载请保留或注明出处]
本文地址:http://searchkit.cn/article/219
本文地址:http://searchkit.cn/article/219
11 个评论
大神给翻译下吧
这就安装去
elaticsearch如果加上sql层就完美了
太速度了
威武!!喜欢logstash图形化功能
还是没有聚合结果分页功能么。。。