【 INFINI Workshop 上海站】7 月 27 日下午 和 INFINI Labs 的技术专家面对面，第一时间了解极限实验室的发布最新产品和功能特性，通过动手实战，快速掌握最前沿的搜索技术，并用于实际项目中。欢迎大家免费报名参加。

活动时间：2023-07-27 13:30～17:30
活动地点：上海静安区武宁南路1号 WeWork 越商大厦 3 楼 3A 会议室
（注意：活动地址已更新，已报名小伙伴无需重新报名。）
​
分享议题
• Easysearch 总体介绍及搭建实战
• 基于 INFINI Console 实现跨版本、跨引擎统一管控
• Elasticsearch -> Easysearch 在线迁移实操


参会提示
• 请务必自备电脑（Windows 系统环境请提前安装好 Linux 虚拟机）
• 请提前在 INFINI Labs 官网下载对应平台最新安装包（INFINI Easysearch、INFINI Gateway、INFINI Console）
• 下载地址：https://www.infinilabs.com/download


名额有限，对 ES 国产化感兴趣的朋友们速度报名（扫描海报中的二维码或者点击 链接 即可免费报名）。
 
如有任何疑问可添加 INFINI Labs 小助手（微信号: INFINI-Labs）进行联系。

7 月 4-5 日，由中国信息通信研究院（以下简称“中国信通院”）、中国通信标准化协会主办，中国通信标准化协会大数据技术标准推进委员会承办，InfoQ 联合主办的 "2023 可信数据库发展大会" 主论坛在北京国际会议中心隆重召开。

中国通信标准化协会副理事长兼秘书长代晓慧以视频方式致辞，中国信息通信研究院副院长王志勤出席会议并致辞，清华大学、复旦大学、中移信息、华为云、腾讯云、科蓝软件、阿里云、极限科技、浪潮 KaiwuDB、蚂蚁集团等行业内专家代表出席会议并发表主题演讲。吸引了超 1000 位开发者及关注数据库发展的行业人员到现场，共同论道我国数据库高水平自立自强之路。

释放生态引力，共谋产业新增长

此届大会以“自主 · 创新 · 引领”为主题，共设 9 个论坛，除主论坛外，此次大会围绕数据库热点话题设置了金融、电信、互联网以及汽车四大行业应用分论坛，以及云原生与开源数据库、搜索与分析型数据库、数据库运维及生态工具和时空时序及图数据库四大技术研讨分论坛，从供给侧及应用侧等多角度深度呈现中国数据库产业发展格局，为数据库产业高质量发展指明方向。

大会重磅发布了数据库产业全景图《中国数据库产业图谱（2023 年）》，中国信通院 2023 上半年“可信数据库”评测证书等多项中国信通院及中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）在数据库领域的最新研究和实践成果。

据了解，中国信通院在主论坛上发布了数据库产业全景图《中国数据库产业图谱（2023 年）》，旨在全面客观展现我国数据库产业中的关键领域、环节和代表企业。

图：极限科技荣誉入选中国信通院《中国数据库产业图谱（2023 年）》

作为搜索与分析型数据库的代表之一，极限科技荣誉入选《中国数据库产业图谱（2023 年）》，与此同时，极限科技的 INFINI Easysearch 搜索引擎软件 V1.0.0 通过搜索型数据库基础能力测试，获评“可信数据库”并受颁“搜索型数据库基础能力专项评测证书”。


图：极限科技受颁“搜索型数据库基础能力专项评测证书”

除此之外，极限科技正式入选成为 DBL 搜索型数据库推进计划首批企业中的副组长单位。


图：极限科技荣誉入选成为 DBL 搜索型数据库推进计划首批企业中的副组长单位

让搜索更简单，助推可信数据库生态建设

在搜索与分析型数据库分论坛上，极限科技创始人兼 CEO 曾勇受邀做了《从 ES 到 Easysearch：让搜索更简单》的主题演讲。据介绍，实时大数据搜索分析，尤其是结构化和非结构化数据结合的场景和需求非常大，针对海量数据，搜索技术成为核心，目前 Elasticsearch 在此领域非常流行。

中国信通院发布的《数据库发展研究报告（2023 年）》数据显示，2022 年中国数据库市场规模约 403.6 亿元，占全球 7.2%。有数据统计，中国目前已有超十万开发者，包括阿里巴巴、字节跳动、蚂蚁金服等在内的上万家知名互联网公司及大型企事业单位在生产环境大规模运行 Elasticsearch。但在使用过程中，中国开发者及企业对实时大数据搜索分析的差异化需求，Elasticsearch 仍有改进空间。


图：极限科技创始人兼 CEO 曾勇受邀在"2023 可信数据库发展大会"做主题演讲

极限科技创始人兼 CEO 曾勇介绍道，目前 Elasticsearch 在开源版本安全上问题频发，企业级能力有待提升；授权、国产适配与法律合规方面也存在问题；其本地化中文的支持能力弱，搜索体验有待提高；同时该软件使用成本、维护成本高，软件过重，资源占用率高，在计算资源上存在一定的浪费；更重要的是，该软件的生产没有保障，无专业的售后与技术保障能力，缺乏专业厂商。

极限科技自主研发的 INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，其核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本，其目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

曾勇表示，基于对 Elasticsearch 在中国应用存在问题的深入了解，极限科技在安全合规、可信可控、性能优化、降本增效的基础上，做到了足够的技术保障。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性，让搜索更加简单。


图：极限科技创始人兼 CEO 曾勇主题演讲 PPT 内容

据了解，极限科技成立于 2021 年底，创始成员来自于 Elasticsearch 中国团队原班人马，以“让搜索更简单，更实时”为目标，致力于帮助客户解决使用 ES 时遇到的各种挑战，提供国产化配套产品及解决方案。曾勇表示，极限科技目前正在潜心打造下一代实时数据搜索引擎，积极参与全球开源生态建设。未来，极限科技将持续致力于持续增强内核和企业级能力的扩展完善，以搜索为核心，让数据 “好”看、有用、智能，助力我国数据库产业高质量发展，共谋产业新增长。

关于极限科技（INFINI Labs）


极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：[https://www.infinilabs.com](https://www.infinilabs.com)


7 月 4 日，由中国通信标准化协会和中国信息通信研究院主办，大数据技术标准推进委员会承办，InfoQ 联合主办的 [2023 可信数据库发展大会](https://mp.weixin.qq.com/s/N9ZkDE2p7FIboppWyFwadQ) 在京隆重召开，中国信通院云计算与大数据研究所大数据与区块链部主任姜春宇在主论坛现场颁发评测通过证书，极限科技相关代表受邀出席领取。



极限科技研发的 INFINI Easysearch 是一个分布式的近实时搜索与分析引擎， 同时也是一款具备自主可控的分布式近实时搜索型数据库产品，具备高性能、高可用、弹性伸缩、高安全性等特性，具备支持丰富的个性化搜索及聚合分析能力，可部署在物理机、虚拟机、容器、私有云和公有云，能承载 PB 级别的海量业务数据，为金融核心系统、运营商、制造业和政企业务系统提供安全、稳定、可靠的快速检索和实时数据探索分析能力，可满足不同业务场景的各项复杂需求。


除了 Easysearch，极限科技还提供用于构建企业搜索基础设施的完整解决方案，通过云原生的方式来让企业高效治理大规模搜索集群，将分散的各个业务搜索计算资源合并归拢，通过资源统一调度管控，提升整体资源利用率和系统弹性，降低系统复杂度和 IT 运营成本，来持续满足业务的灵活多变需求，结合统一的安全、监控、告警、运维和管理等能力，达到统一管理、统一治理，降本增效，实现企业的搜索基础设施的平台化运营。


国内搜索型数据库最近几年发展迅速，关键技术逐渐突破，应用场景和数据规模也逐年上升，已经成为企业必不可少的核心基础设施，产业生态也日益繁荣。极限科技作为国内搜索型数据库产品厂商第一梯队的杰出代表，同时也是行业标准的起草单位之一，此次获得首批测评通过，不仅代表着对 INFINI Easysearch 搜索型数据库软件 Easysearch 的权威性肯定，更代表着极限科技在“搜索数据库”产品的研究与创新上，取得了新的里程碑。

作为“可信数据库”的一员，极限科技将持续专注于打造国产搜索型数据库产品，致力于为用户提供更加优质、稳定、高效、安全的数据搜索服务和分析体验。

关于极限科技（INFINI Labs）


极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：[https://www.infinilabs.com](https://www.infinilabs.com)


INFINI Labs 产品重量级更新！！！本次更新了很多亮点功能，如 Easysearch 新增跨集群复制 (CCR)、支持快照生命周期管理 (SLM) 功能等；支持多集群、跨版本的搜索基础设施统一管控平台 Console 新增了免费授权申请功能等。欢迎大家下载使用。

Console 在线体验：[http://demo.infini.cloud](http://demo.infini.cloud) (用户名/密码：readonly/readonly)。

INFINI Easysearch v1.2.0

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Features

• 正式发布快照生命周期管理 (SLM) API, 支持定时备份和删除快照，以及保留快照的个数
  
• 增加跨集群复制 (Cross-cluster replication) 功能：
  
  • 支持手动或自动复制索引
    
  • 支持暂停和恢复复制索引
    
  • 支持取消指定索引的跨集群复制
    
    

    Bug Fix
    

    
    

• security 模块修复缺少某些角色验证属性的问题
  
  

  Improvements
  

  
  

• 兼容 ES6.0 版本的索引
  
  

  INFINI Gateway v1.15.0
  

  
  INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway，可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。
  
  Gateway 本次更新如下：
  
  

  Features
  

  
  

• 增加 auto_generate_doc_id 在线过滤器，支持 index 自动生成 _id
  
  

  Bug Fix
  

  
  

• 修复 floating_ip 错误抢占的问题
  
• 修复 elasticsearch 对 x-forwarded-for 的错误覆盖问题
  
• 修复 queue_consumer 在队列没有消息时高 CPU 占用的问题
  
  

  INFINI Console v1.3.0
  

  
  INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
  
  Console 本次更新如下：
  
  

  Features
  

  
  

• 数据看板新增新增 Dashboard 导入导出功能
  
  
  
  
• 数据看板表格组件 UI 调整，并新增排序功能
  
• 数据看板组件支持多指标（折线图、面积图、柱状图、条形图）
  
  
  
  
• 数据迁移新增增量迁移、定时运行功能
  
• 数据比对新增增量比对、定时运行功能
  
  
  
  更多参见：[增量数据迁移介绍](https://infinilabs.com/blog/2023/data-migration/)
  
  
• 监控报表新增索引，节点健康状态指标
  
• 新增免费授权申请功能
  
  
  
  
• 新增 Agent 管理功能
  
  • Agent 注册以及基本信息修改
    
  • 查看 Agent 主机 ES 进程信息，进程关联到已注册集群后，自动采集该 ES 集群指标及日志
    
  • 通过 Agent 查看 ES 节点日志
    
  • Agent 支持 Linux 平台脚本一键安装
    
    
    
    更多参见 ：[Agent 管理功能介绍](https://www.infinilabs.com/doc ... anage/)
    
    

    Bug fix
    

    
    

• 修复没给菜单权限，左侧菜单依然显示的问题
  
• 修复删除数据看板 Dashboard 时 url 中 id 不更新的问题
  
• 修复数据看板指标字段搜索无数据的问题
  
• 修复数据探索切换索引（视图）时报错的问题
  
• 修复数据探索切换时间字段后索引显示不正常的问题
  
• 修复数据探索切换表格样式的问题
  
• 修复数据看板框选一个坐标点进行时间过滤时无数据的问题
  
• 修复数据看板只读用户标签页样式的问题
  
• 修复数据看板组件放大后进入编辑界面 UI 不正常的问题
  
  

  Improvements
  

  
  

• 节点监控详情分片列表增加索引写入指标
  
• 数据看板柱状图和条形图新增配置是否堆叠
  
• 告警模版添加函数 get_keystore_secret 支持访问 keystore 变量
  
  

  INFINI Agent v0.5.0
  

  
  INFINI Agent 是 INFINI Console 的一个可选探针组件，负责采集和上传集群指标和日志等信息，并可通过 Console 管理。Agent 支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。
  
  探针 Agent 本次更新如下：
  
  

  Features
  

  
  

• 支持将 Agent 注册到 Console
  
• 添加保存配置到动态加载目录接口
  
  

  Improvements
  

  
  

• 优化自动发现 Elasticsearch 实例进程
  
• 优化查看 Elasticsearch 实例日志相关 API
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  
  也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  
  

  关于极限科技（INFINI Labs）
  

  
  
  
  极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
  
  极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
  
  官网：https://www.infinilabs.com

INFINI Labs 产品更新啦~，本次产品版本更新包括 Gateway v1.14.0、Console v1.2.0、Easysearch v1.1.1 等，其中 Console 在上一版基础上做了很多优化改进以及新增了一些特性，如新增数据比对校验功能、数据看板模块新增了表格组件、图表组件支持下钻功能等。欢迎下载体验。

INFINI Gateway v1.14.0

极限网关本次更新如下：

Features

• 支持自定义服务名称
  
• metrics 增加实例 user_in_ms 和 sys_in_ms 采集
  
• elasticsearch 增加 dial_timeout 选项
  
  

  Bug Fix
  

  
  

• 修复网关开启实时日志推送后命令行日志无法输出的问题
  
• logging 修复 min_elapsed_time_in_ms 选项不生效的问题
  
• 修复一个消费闲置队列造成 CPU 占用高的问题
  
  更多更新参见【 [Gateway 版本历史](https://infinilabs.com/docs/la ... notes/) 】。
  
  

  INFINI Console v1.2.0
  

  
  Console 本次更新如下：
  
  

  数据比对
  

  
  数据比对目前支持跨集群索引全量数据校验，常用于索引数据迁移之后，校验两端的数据是否一致，保障数据迁移的正确性。通过 UI 界面创建数据校验任务和管理。
  
  
  
  进入校验任务详情，能够可视化展示分区子任务的进度，不同的颜色方块表示进度状态，如绿色表示校验成功、红色表示校验失败，如失败了可以查看 log 日志进行错误原因定位。
  
  
  
  具体操作参见：[教程](https://infinilabs.com/docs/la ... rison/)。
  
  

  数据看板
  

  
  Console 数据看板模块新增了表格组件，进一步扩展 Dashboard 看板图表多样化，增强数据可视化能力。详情查看 [操作演示视频](https://www.bilibili.com/video/BV17k4y1x7m9/)。
  
  同时，数据看板模块新增了下钻功能，支持图表组件配置自定义下钻 URL 链接，在图表组件上进行时间范围框选后即可点击下钻按钮进行链接跳转。详情查看 [操作演示视频](https://www.bilibili.com/video/BV1FV4y1z7HY/)。
  
  

  告警模板支持环境变量
  

  
  新版 Console 支持解析系统环境变量和配置文件中配置的环境变量。在配置告警规则消息内容时可通过 {{$.env.VARIABLE}} 方式设置环境变量，详情参见：[教程](https://infinilabs.com/docs/la ... plate/)。
  
  除了以上主要新增功能外，Console 其他更新如下：
  
  

  Bug fix
  

  
  

• 修复数据看板组件复制的问题
  
• 修复开启实时推送日志后，不写文件日志的问题
  
• 修复初始化时，系统集群没有索引，节点元数据的问题
  
• 修复网关重启后，数据迁移任务无法结束的问题
  
• 修复数据迁移任务统计数据重复的问题
  
• 修复数据探索列表时间字段排序问题
  
  

  Improvements
  

  
  

• 告警规则表达式显示优化
  
• 优化数据迁移任务调度流程，减少 ES 调用次数
  
• 数据迁移任务增加跳过 scroll/bulk 文档数检查选项
  
  更多更新参见【 [Console 版本历史](https://infinilabs.com/docs/la ... notes/) 】。
  
  

  INFINI Framework
  

  
  INFINI Framework 作为 INFINI Search Platform 各产品组件的公共框架模块，其更新如下：
  
  

  Features
  

  
  

• 支持自定义服务名称，可用于单机多实例部署
  
• 新增统计接口别名：/stats/prometheus
  
  

  INFINI Easysearch v1.1.1
  

  
  Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。本次主要更新如下：
  
  

  Bug fix
  

  
  

• 修复模板别名在某些场景不生效的 Bug
  
• 防止 BigArray 在某些场景发生内存泄漏
  
• 修复 SourceValueFetcher 可能遗漏字段的 Bug
  
  

  Improvements
  

  
  

• easysearch.yml 增加 elasticsearch.api_compatibility 配置项，兼容 logstash-oss，filebeat-oss，apm-server-oss 等 elasticsearch 的客户端
  
  更多更新参见【 [Easysearch 版本历史](https://infinilabs.com/docs/la ... notes/) 】。
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  
  最后祝大家周末愉快！
  
  

  关于极限科技（INFINI Labs）
  

  
  
  
  极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
  
  极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。


INFINI Labs 产品又更新啦，包括 Easysearch v1.1.0、Gateway v1.13.0、Console v1.1.0、Agent v0.4.0，其中 Easysearch 经过团队的数月打磨，现正式对外推出。Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10.2 版本。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。欢迎大家下载体验。

INFINI Easysearch v1.1.0

INFINI Easysearch 本次更新最重要的功能是引入了 ZSTD 压缩算法，对索引进行全方位的压缩，尤其针对日志数据压缩效果更加明显，针对 1.1G 的 Nginx 日志进行测试，采用 ZSTD 策略后，膨胀率只有 0.94，甚至比原始数据还要小，而且还能进一步压缩，和 index.source_reuse 结合使用后，膨胀率只有 0.7，索引大小只有 Elasticsearch 原生 best_compression 的 59%，是 Elasticsearch 6.x 的 49%。下面是一张索引大小对比图：


更多介绍查看 [详情](https://www.infinilabs.com/blo ... ssion/)。

其他更新功能如下：

Breaking changes

• Lucene 版本升级到 8.11.2
  
  

  Breaking changes
  

  
  

• 增加 ZSTD codec， 引入 ZSTD 压缩算法，对存储字段，doc_values，词典进行压缩。
  
• 增加 index.source_reuse 索引级别配置，对 _source 进一步压缩。
  
• 提供索引生命周期管理 ILM 模块的功能，绝大部分 api 兼容 elasticsearch
  
  

  Breaking changes
  

  
  

• 减少冗余日志输出。
  
• 减少 modules 模块整体大小。
  
  下载地址：https://www.infinilabs.com/download
  
  

  INFINI Gateway v1.13.0
  

  
  极限网关本次更新如下：
  
  

  Features
  

  
  

• router.rules 增加 enabled 选项，控制是否启用 flow
  
• 增加对 loong64 架构的支持
  
• 增加对 riscv64 架构的支持
  
• elasticsearch filter 增加 dial_timeout 选项
  
  

  Bug fix
  

  
  

• 修复 http/elasticsearch 转发后 HTTP 响应头丢失的问题
  
• 修复 pipeline 热加载出现重复 pipeline 同时运行的问题
  
• 修复 bulk_indexing 退出后泄漏 goroutine 的问题
  
  

  Improvements
  

  
  

• 优化 HTTP 头设置方式，避免出现重复的 HTTP 头
  
• 优化 pipeline 停止的响应速度
  
• pipeline 增加 enabled 选项，控制是否启用 pipeline
  
  更多 Gateway 更新可参考【[Gateway 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Console v1.1.0
  

  
  本次 INFINI Console 版本发布主要新增了网关实时日志查看功能、完善了数据迁移功能和数据看板的可视化能力、以及修复了已知 Bug。
  
  

  实时日志
  

  
  登录 Console，进入 [资源管理][网关管理] 界面，可以看到网关实时日志入口（前提需要注册网关）如下图所示：
  
  
  
  进入实时日志展示界面，点击“开始”按钮后，服务端将 Gateway 日志实时推送到 Console 界面展示，在该界面可以动态调整输出不同的日志级别（DEBUG、INFO、WARN、ERROR 等），同时也支持文件名、方法名、消息内容加通配符进行过滤。
  
  
  
  详情查看 [动手教程](https://www.infinilabs.com/doc ... -logs/) 和 [操作演示视频](https://www.bilibili.com/video/BV15z4y1h7Rd)。
  
  
  

  数据迁移
  

  
  数据迁移模块，基于上个版本做了优化，添加 ILM，Template，Alias 初始化操作。方便用户根据各自的需求迁移索引生命周期、模板、别名等。
  
  
  
  

  数据看板
  

  
  数据看板图表支持复制、快速切换、时间框选、缩放、标记高亮，进一步增强 Console 可视化能力。
  
  
  
  详情查看 [操作演示视频](https://www.bilibili.com/video/BV1Ws4y1g7Eu)。
  
  除以上主要功能更新外，Console 其他功能优化如下：
  
  

  Bug fix
  

  
  

• 修复数据探索保存查询出现 mapping 错误的问题
  
• 修复数据看板组件数据源配置的问题
  
• 修复数据探索左侧字段栏样式的问题
  
• 修复集群注册向导点击跳转后丢失集群类型的问题
  
  

  Improvements
  

  
  

• 数据看板汉化
  
  更多 Console 更新可参考【[Console 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Agent v0.4.0
  

  
  数据采集工具探针（INFINI Agent）更新如下：
  
  

  Features
  

  
  

• 新增 logs_processor ，配置采集本地日志文件
  
  

  Breaking changes
  

  
  

• es_logs_processor 调整日志字段
  
  • created 重命名为 timestamp
    
  • 自动提取 payload.timestamp payload.@timestmap 字段到 timestamp
    
• es_logs_processor 删除 enable 选项
  
  下载地址：
  https://www.infinilabs.com/download/?product=agent
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  
  

  关于极限科技（INFINI Labs）
  

  
  
  
  极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
  
  极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
  
  详情参见官网：[https://www.infinilabs.com](https://www.infinilabs.com)


INFINI Labs 为大家又带来一波产品更新，包括 Gateway v1.10.0、Console v0.8.0、Loadgen v1.5.0、Loadrun v0.1.0，其中 Loadrun 是本次产品更新中首发亮相，它是一个用来批量运行 Loadgen 测试用例的工具。欢迎大家下载体验。

INFINI Gateway v1.10.0

极限网关本次更新如下：

Features

• 配置文件中支持环境变量
  
• 添加 ratio filter 选项操作，允许立即丢弃请求
  
• 添加 context_parser filter
  
• 添加 context_switch filter
  
• 添加 _sys.* 到请求上下文
  
  更多 Gateway 更新可参考【[Gateway 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Console v0.8.0
  

  
  本次极限 Console 版本更新主要新增了凭据管理功能，凭据敏感信息使用加密存储。凭据管理可以帮助我们将身份验证信息集中管理，需要用的地方直接引用，提高了身份验证信息的存储安全性。
  
  需要注意的是，如果您是初次安装部署，凭据敏感信息加密密钥在 INFINI Console 安装初始化是自动生成或用户自定义设置。该密钥需要用户妥善保存，如果密钥丢失，当升级 INFINI Console 并且重新初始化系统后，先前保存的凭据信息将无法解密。
  
  

  

  
  
  在【系统管理】-【凭据管理】列表中可以查询已创建的凭据信息，支持增删查改等基本操作。
  
  

  

  
  
  更多详情可参考文档（[https://www.infinilabs.com/doc ... ntial](https://www.infinilabs.com/doc ... ential)）。
  
  Console 其他功能优化如下：
  
  

  Improvements
  

• KV 内存占用优化
  
  

  Bug fix
  

• 修复了网关实例列表 CPU 数值显示问题
  
• 修复了系统服务健康监控错误提示
  
  更多 Console 更新可参考【[Console 版本历史](https://www.infinilabs.com/doc ... -notes)】。
  
  

  INFINI Loadgen v1.5.0
  

  
  Elasticsearch 性能压测工具 Loadgen 本次更新如下：
  
  

  Features
  

• 新增assert功能，支持对请求返回进行判断
  
• 新增register功能，支持测试过程中动态注册全局变量
  
• 新增环境变量功能，配置文件可以动态加载环境变量
  
• 请求头配置支持访问动态变量
  
  
  

  Improvements
  

• 优化 -l 参数的准确性
  
• 支持可选跳过 warm-up 阶段
  
  下载地址：[https://release.infinilabs.com/loadgen](https://release.infinilabs.com/loadgen)
  
  

  INFINI Loadrun v0.1.0
  

  
  Loadrun 是一个用来批量运行 Loadgen 测试用例的工具，不需要重复编写测试用例，通过切换套件配置来快速测试不同的环境配置。
  
  

  Features
  

• 支持配置测试套件，批量运行 Loadgen 测试样例并输出测试结果
  
• 支持测试套件配置 Loadgen 环境变量，快速切换测试环境
  
• 支持自动启动 INFINI Gateway，方便测试不同配置
  
  下载地址：[https://release.infinilabs.com/loadrun](https://release.infinilabs.com/loadrun)
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 官网： [https://www.infinilabs.com](https://www.infinilabs.com)
  
• 下载地址： [https://www.infinilabs.com/download](https://www.infinilabs.com/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  
  最后祝大家周末愉快！
  
  

  关于极限科技（INFINI Labs）
  

  
  

  

  
  
  极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
  
  极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
  


Hi，大家好。今天 INFINI Labs 为大家带来 2023 春节后第一波产品更新发布，欢迎大家免费下载体验使用。

INFINI Gateway v1.9.0

极限网关本次迭代带来了大量的更新如下：

Breaking changes

• Refactoring config for ip access control
  
• Disable elasticsearch metadata refresh by default
  
• Update default config path from configs to config
  
• Remove sample-configs, moved to dedicated integrated-testing project
  
• Remove field conntime, update field @timestamp to timestamp in logging filter
  
• Rename disorder to fast
  
  

  Features
  

• Support listen on IPv6 address
  
• Add general health api
  
• Add request_ip to context
  
• Add badger filter plugin
  
• Allow to split produce and consume messages from s3
  
• Add bulk_request_throttle filter
  
• Support access request context and more output options in echo filter
  
• Add body_json to response context
  
• Add cert config to API module, support mTLS
  
• Add api to clear scroll context
  
• Floating_ip support stick by priority
  
• Add keystore util
  
• Allow to save success bulk results in bulk_indexing processor
  
• Enable watch and reload the major config file
  
• Support run background job in one goroutine
  
• Allow to handle async_bulk request logging
  
• Add config to control cluster health check while cluster not available, set default to false
  
• Allow to follow redirects in http filter, set default read and write timeout to 30s
  
• Support collect instance metrics to monitoring gateway
  
• Add json log format
  
  

  Bug fix
  

• Fix user was removed in logging filter
  
• Fix incorrect message size issue, reload when files changed in disk_queue
  
• Fix issue that index_diff could not finished automatically
  
• Fix hostname was not well updated in filter set_request_header or set_hostname
  
• Fix to check consumer’s lag instead of queue’s lag in flow_runner processor
  
• Fix file not found error for disk_queue
  
• Fix the delete requests was not proper handled in filter bulk_reshuffle, bulk_request_mutate and bulk_indexing processor
  
• Fix memory leak caused by misuse of bytes buffer
  
• Fix to handle the last request in replay processor
  
• Fix url args was not updated after change
  
• Fix memory leak when serving high-concurrent requests
  
• Fix nil id caused error when using sliced workers in bulk_indexing processor
  
• Fix index name with dot
  
• Refactoring time fields for orm, skip empty time
  
• Refactoring stats, allow to register extended stats
  
• Fix to restart gateway entrypoint on flow change
  
• Update ratio filter, fix random number, add header to ratio filter
  
• Fix query parameter no_cache was not well respected in get_cache filter
  
• Fix single delete request was ignored in bulk requests
  
• Fix request mutate filter
  
  

  Improvements
  

• Remove newline in indexing_merge and json_indexing processor
  
• Improve instance check, add config to disable
  
• Add option skip_insecure_verify to s3 module
  
• Improve instance check, enable config to disable
  
• Update the way to get ctx process info, optimize memory usage
  
• Improve indexing performance for bulk_indexing processor
  
• Refactoring disk_queue, speedup message consumption
  
• Enable segment compress for disk_queue by default
  
• Skip download s3 files when s3 was not enabled
  
• Add option to log warning messages for throttle filters
  
• Optimize hash performance for getting primary shardID and partitionID
  
• Add cache for get index routing table
  
• Optimize performance for bulk response processing
  
• Refactoring bulk_processor, pass meta info to payload func
  
• Don’t call payload func for delete action
  
• Improve queue consumer’s lag check
  
• Enable prepare flat files ahead for read by default, skip unnecessary file
  
• Add object pool for xxhash
  
• Refactoring disk_queue, handle consumer in-flight segments in memory
  
• Add config to remove duplicated newline for bulk_processor
  
• Add metric timestamp in stats api
  
• Improve error on routing table missing
  
• Refactoring bytes buffer and object pool, expose metrics via API
  
• Refactoring tasks pooling, support throttle and unified control
  
• Optimize badger file size and memory usage
  
• Refactoring time fields for orm, skip empty time
  
• Refactoring stats, allow to register extended stats
  
• Refactoring to handle bulk response results
  
• Add client_session_cache_size to tls setting
  
• Safety add newline to each bytes when handle bulk requests
  
  

  INFINI Console v0.7.0
  

  
  INFINI Console 本次迭代更新如下：
  
  

• 新增初始化安装向导；
  
  

  
  
  

• 新增系统服务健康监控；
  
• 新增 License 授权；
  
  

  
  
  

• 新增索引和节点层面数据字节写入吞吐量指标(indexing bytes)；
  
• 修复了 Discover 第一次加载未发起搜索请求的问题；
  
• 修复了查看节点线程池指标时选择多个节点后指标不显示的问题；
  
  

  期待反馈
  

  
  欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)） 中的对应项目中提交 Feature Request 或提交 Bug。
  
  

• INFINI Gateway： [https://github.com/infinilabs/gateway/issues](https://github.com/infinilabs/gateway/issues)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/download/](https://www.infinilabs.com/download/)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家添加微信小助手(INFINI-Labs)拉群交流和学习。
  
  
  

  
  
  
  感谢大家的围观，祝大家周末愉快。

亲爱的各位赞助商、合作伙伴、嘉宾和参会朋友：

    很高兴通知大家，经 Elastic 中国开发者大会组委会研究决定，由于疫情原因延期举办的 2022 Elastic 中国开发者大会将于2022年10月29日在深圳好日子皇冠假日酒店重启举办。

    关于会议信息也做一个同步：

    一、会议场地变化：原会议举办场地——深圳圣淘沙酒店，被深圳政府做为深圳市疫情防控指挥中心，酒店工作人员通知2022年全年都无法提供任何场地举办会议。组委会得知情况后，为了大会及时召开，立即做好预案，在不考虑成本的情况下，将会议场地变更为——深圳好日子皇冠假日酒店，会议的整体环境、场地、展厅、茶歇、用餐等都做了全面的升级。

    二、关于讲师和议题：少部分讲师和议题有变化，组委会近期会与讲师沟通确认是否需要更换新的演讲议题。

    这次的 Elastic 中国开发者大会虽然遇到了很多的困难与波折，但因为您们的理解和支持，一直鼓励着我们，给了我们信心与动力，我们会本着办好中国开发者大会的初心继续前行，再次感谢大家的大力支持！

    注：

1. 目前大会报名购票通道已重新开启，欢迎有兴趣的朋友报名参会，已经报名参会者无需再次报名。报名链接：https://www.bagevent.com/event/7899116
2. 如需要加入本次大会微信交流群，请加微信(lsy965145175)拉群。
3. 更多大会资讯请关注官网：https://conf.elasticsearch.cn

 
 


今天 INFINI Labs 为大家又带来了一波产品更新，请查阅。

INFINI Gateway v1.8.0

极限网关本次迭代更新如下：

• 修复上下文条件 consumer_has_lag参数和 配置、文档不一致的 Bug。
  
• 修改备集群故障，主集群不能正常写数据的 Bug。
  
• 修复 Bulk 请求处理异常造成数据复制不一致的问题。
  
• 修复请求日志里面关于 Bulk 统计数据丢失的问题。
  
• 修复大并发情况下，请求体为空的异常。
  
  

  INFINI Console v0.6.0
  

  口碑爆棚的 Elasticsearch 多集群管控平台 INFINI Console 更新如下：
  
  

• 新增主机概览。
  
  
  

  
  
  

• 新增主机监控。
  
  
  

  
  
  

• 节点概览新增日志查看功能（需安装 Agent）。
  
  
  

  
  
  

• Insight 配置框新增 Search 配置。
  
• 优化 Discover 时间范围 Auto Fit，设为15分钟。
  
• 优化 Discover 保存搜索，会保存当前的字段过滤和 Insight 图表配置。
  
• 优化本地列表搜索查找，支持通配符过滤。
  
• 优化告警规则必填字段标记显示。
  
• 修复了 Discover 字段过滤白屏问题。
  
• 修复了 Discover 表格添加字段后排序失效问题。(感谢@卢宝贤反馈)
  
• 修复了 Elasticsearch 8.x 删除文档报错不兼容的问题。(感谢@卢宝贤反馈)
  
• 修复了创建新索引不成功时，异常处理的问题。
  
• 修复了低版本浏览器js不兼容导致集群注册不成功的问题。
  
• 修复了开发工具中使用加载命令失败报错的问题。
  
  
  

  INFINI Agent v0.2.0
  

  数据采集工具探针（INFINI Agent）更新如下：
  
  

• 新增按节点读日志文件列表的API
  
• 新增读具体日志文件内容的API
  
• 新增 Elasticsearch 节点掉线后的基础信息保存
  
• 新增主机在线状态的采集
  
• 新增基于 Centos 的 Docker 镜像
  
• 新增主机配置信息采集: 操作系统信息、磁盘大小、内存大小、CPU配置等
  
• 新增主机指标的采集: CPU使用率、磁盘使用率、磁盘IO、内存使用率、swap 使用率、网络IO等
  
• 新增 Elasticsearch 进程信息采集
  
• 修复发现 Elasticsearch 进程时频繁提示端口访问错误的Bug
  
• 修复 Elasticsearch 节点地址为 0.0.0.0 时无法获取节点信息的Bug
  
• 修复 CPU 指标数据显示异常的Bug
  
• 修复 stats API 在 Windows 平台的兼容性
  
  

  INFINI Framework 2000923
  

  INFINI Framework 也带来了很多改进：
  
  

• 重构了磁盘队列压缩相关配置，支持段文件的压缩。
  
• 当集群不可用的情况下，跳过集群节点元数据的获取。
  
• 完善节点可用性检测，避免频繁的不可用状态切换。
  
• 修复 Elasticsearch 主机地址为空的异常。
  
• 完善本地磁盘队列文件的清理，避免删除正在使用的文件。
  
  

  期待反馈
  

  
  如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（[https://github.com/infinilabs](https://github.com/infinilabs)）中的对应项目中提交 Feature Request 或提交 Bug。
  

• INFINI Gateway： [https://github.com/infinilabs/gateway](https://github.com/infinilabs/gateway)
  
• INFINI Console： [https://github.com/infinilabs/console/issues](https://github.com/infinilabs/console/issues)
  
• 下载地址： [https://www.infinilabs.com/#/download](https://www.infinilabs.com/#/download)
  
  您还可以通过邮件联系我们：hello@infini.ltd
  
  或者拨打我们的热线电话：(+86) 400-139-9200
  
  也欢迎大家微信扫码添加小助手，加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
  
  
  感谢大家的围观，祝大家周末愉快。

 各位网友们晚上好，今天是 2022-08-26，星期五，天气晴朗，确切来说可以用炎热来形容，不如小编在此为大家赋诗一首：

啊！啊！时光飞梭，转眼已是秋天，难却烈日依旧炎炎，几度望穿雨下，窗外热风扑面，湘江滚烫，耀我中华，倩倩诗词。。。咳咳，实在编不下去了。。。

首先，我们来回顾一下历史上的今天：

• 中国第一台百万次计算机试制成功
• 我国正式设立经济特区

然后，我们再看看 INFINI Labs 今天为大家带来了哪些产品更新吧，具体如下，请查收。

INFINI Gateway v1.7.0

极限网关本次迭代更新如下：

• Flow 过滤器支持基于上下文参数的动态转发，可以实现多域名和后端实例的对应关系
• Router 新增 IP 白名单
• LDAP 身份认证过滤器新增 LRU 缓存支持
• 新增基于 Centos 的 Docker 镜像

INFINI Console v0.5.0

口碑爆棚的 Elasticsearch 多集群管控平台继续在小步迭代中：

• 修复开发工具不能转发请求给后端集群为 Https 类型的问题
• 新增探针管理功能
• 集群监控节点层面添加 IO 指标（仅支持 Linux 版本 Elasticsearch 集群）
• 修复了存储数据 Elasticsearch 集群不可用时，采集监控指标队列不消费的问题
• 修复了 Docker 镜像时区加载失败的问题 （感谢反馈 @阿炳）
• 修复了 Gateway 实例列表刷新后多次请求的问题
• 优化刷新集群状态日志输出
• 新增基于 Centos 的 Docker 镜像
• 优化了未授权时跳转至登录界面频繁的弹窗提示
• INFINI Insight 新增图表类型（单值、饼图、面积图）

• 调整 Discover 搜索栏时间选择控件 UI，空间更紧凑，切换更方便

• 修复 INFINI Insight 编辑组件后所有组件又重新获取数据的问题
• 修复从其它页面的索引链接跳转到 Discover 时 Query 依然有旧状态的问题

INFINI Agent v0.1.0

为了支撑海量大规模集群的监控指标采集以及为了后续功能的开发做准备，INFINI 产品家族引入了新的成员：INFINI Agent，第一个版本 v.0.1.0 经过实验室小伙伴们的共同努力，终于发布了。 欢迎大家体验，期待大家的反馈~~

• 实现了 Agent 的自动注册，自动解析当前主机包含 Elasticsearch 集群/实例信息并上报给 Console
• 实现了 Agent 端的数据抓取，目前仅实现节点指标、集群指标的抓取
• 实现了 Agent 的状态管理，Console 端可以管理 Agent 状态和下发数据任务
• 实现了多平台兼容 (Linux/Mac/Windows)
• 集成了权限控制，Agent 需等待 Console 端审核通过之后，才会开始数据抓取
• 实现 Agent 多节点间任务调度，当 Agent 掉线了，也不用担心数据无法采集

INFINI Framework 20220826

作为 INFINI 家族公共的基础框架，INFINI Framework 也带来了很多改进：

• 系统内部运行统计指标新增 Prometheus 格式输出
• 合并配置加载过程中的时间, 避免没有必要的重复加载
• 完善了动态配置，并支持动态加载模版化的配置文件
• 集群拓扑发现关闭的情况下不使用和检测后端节点
• API 服务可以统一捕获异常的连接请求，完善输出
• 优先复用本地的 Elasticsearch 客户端实例
• 修复 Windows 磁盘占用统计不正确的错误
• 修复 Windows 服务安装之后启动失败的问题
• 修复 Makefile，避免循环依赖

其它更新

为了让集群运维起来更加自信，相信大家都在配置各种告警规则了，不过这个事情还是比较繁琐的，大家不要慌，针对 Elasticsearch 平台运维的常见指标，我们已经设置好了规则，方便到家快速复用，已提交到 Github 的样例仓库，欢迎大家自行导入到 INFINI Console 中。



访问地址：https://github.com/infinilabs/examples
 
期待反馈

如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs）中的对应项目中提交 Feature Request 或提交 Bug。

• INFINI Gateway: https://github.com/infinilabs/gateway
• INFINI Console: https://github.com/infinilabs/console/issues
• 下载地址：https://www.infinilabs.com/#/download

您还可以通过邮件联系我们：hello@infini.ltd，或者拨打我们的热线电话：(+86) 400-139-9200
也欢迎大家微信扫码添加小助手，加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。



感谢大家的围观，祝大家周末愉快，本次发布的内容就到这里，下班啦，再见~
 

来源：https://www.freebuf.com/vuls/307891.html
 
一、漏洞概况

Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点：

1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；

2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等；

3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知；

4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源；

5、注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；

6、过滤器：Ad-hoc过滤器允许动态创建新的键/值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。


二、漏洞分析

此次受影响的版本如下：

Grafana

是否受影响

8.x

是


漏洞由grafana-main\pkg\api\api.go引起



分析原因：
api功能可以实现加载插件文件，然后返回文件内容
由于加载路径时候未进行过滤，导致../实现任意文件读取。


最后返回文件内容：




二、漏洞利用
GET /public/plugins/welcome/../../../../../../../../etc/passwd HTTP/1.1 Host: 127.0.0.1:3000 Content-Length: 21 Connection: close




三、漏洞评估

公开程度：已出现在野利用

利用条件：无权限要求

交互要求：0 click

漏洞危害：高危、任意文件读取

影响范围：Grafana 8.x

四、修复方案
 
1、目前厂商暂未修复，建议对../以及相关编码进行过滤。
2、上waf
3、加反向代理利用中间件对路径做normalize操作。

极限数据 v0.2 版本正式发布了。
1. 新增了各个维度的监控指标，重新组织了各个指标的分组信息；
2.开发工具支持快捷键调出和隐藏；
3.指标索引支持 ILM 生命周期管理；
4.完善国际化的部分翻译；
5.修复了一些 Bug；

下载地址：
http://release.elasticsearch.cn/console/stable/ 


 
更多详细信息，请查看文档地址：http://极限数据.com

感谢以下社区同学提供的试用报告与经验分享：

• 极限网关 INFINI Gateway 初体验
• INFINI Gateway 的使用方法和使用心得分享
• 性能爆表！INFINI Gateway 性能与压力测试结果
• 四倍索引速度提升, 有点东西

 
 
每日构建：http://release.elasticsearch.cn/
镜像地址：https://hub.docker.com/r/infinilabs/gateway
文档手册：https://极限网关.com
 
目前提供的功能：

• 索引级别的请求限速
• 重复请求可以缓存
• Kibana 无缝提速
• Elasticsearch 节点自动发现
• 基于权重的节点选择，权重可配置
• 可控制到每个后端节点的最大连接数
• 查询日志统计分析，用于追踪请求排错审计

性能优异，经过测试，比 Nginx 都更胜一筹。

[root@XXX-ES-01 linux64]# ./esm -s https://elastic:pass@xx.xx.cn:9343 -d https://elastic:pass@xx.xx.cn:8000 -x medcl2 -y medcl23 -r -w 200 --sliced_scroll_size=40 -b 10 -t=30m

[11-12 22:09:38] [INF] [main.go:461,main] start data migration..

Scroll 20377840 / 20387840   99.95% 1m20s

Bulk 20371785 / 20387840   99.92% 1m53s

[11-12 22:11:32] [INF] [main.go:492,main] data migration finished.

使用 ESM 进行集群的一个 2千多万的索引数据进行导入导出，分别走 Nginx 和 Elasticsearch 网关，网关和 Nginx 都部署在同一台16 核 32GB 的机器上，16 核全部跑满，Nginx 可以达到 20w/s，网关可以达到 25w/s。


 
Kibana 走网关可以降低重复请求，缓存常见查询，起到查询加速的效果，如下：


 
演示视频：https://v.qq.com/x/page/e3209mhh9kj.html
索引级别的限速限流，给后端 ES 稳稳的幸福。
 

可以开启请求日志，用来分析 ES 查询情况，如下：
 



 
追求性能极限，此网关名为极限网关（INFINI Gateway）。
欢迎帮忙测试，提供反馈意见。

Update!
关于认证考试的内容，我做了一次直播分享，感兴趣的可以来这里查看！

https://www.yuque.com/elastictalk/blog/et26
 
 
 Elastic 最近推出了新的认证考试，Elastic Certified Analyst，主要是考察大家对 Kibana 的掌握程度。
https://www.elastic.co/trainin ... -exam

我上周参加了下，顺利拿到徽章，题目还是比较有意思的，周末找时间直播和大家聊一聊！