INFINI Labs 产品又更新啦~，包括 Easysearch v1.8.2、Gateway、Console、Agent、Loadgen v1.26.0。本次各产品更新了很多亮点功能，如 Easysearch 优化 CCR 同步性能；Gateway 增加了 HTTP 请求动态域名路由功能，移除了安全相关的 Filter，进一步提升 Gateway 稳定性；Console 修复了多个已知问题，如当文档数过亿时单位换算错误，修复了因采集延迟导致指标图表显示异常，修复了多行查询中包含 SQL 查询异常等问题。欢迎大家下载体验。

以下是本次更新的详细说明。

INFINI Easysearch v1.8.2

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Bug fix

• 修复 source_reuse 与 object 字段为 enable: false 时的冲突

Improvements

• 升级部分依赖包版本，Commons-collections to 3.2.2, Snakeyaml to 2.0
• 优化 CCR 同步性能及调整 CCR 全局配置参数
• 优化插件配置命名，去除"plugins."
• 优化配置文件目录获取命名

INFINI Console v1.26.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Bug fix

• 修复监控数据布局
• 修复命令存储权限
• 修复多行请求包含 SQL 语法
• 修复文档数过亿时换算错误
• 修复导入低版本 v1.6.0 告警规则缺少字段问题
• 修复当 buck_size 小于 60 秒时，因指标采集延迟导致指标显示异常问题

INFINI Gateway v1.26.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Improvements

• feat: add wildcard_domain filter
• chore: remove security filter and translog_viewer

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下：

Improvements

• feat: support dynamic app setting
• feat: add cluster settings query args
• feat: add gateway config
• feat: add http interceptor
• feat: return host info in info api
• feat: add util to convert string to float
• feat: use common app setting api to instead of auth setting api
• feat: crontab task support multi crontab expression
• fix: skip submit empty bulk requests
• feat: support ccr api
• fix: get latest offset should compare segment first
• fix: wrong use of zstd with vfs
• fix: prevent close closed channel
• fix: panic on error while saving keystore

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• 下载地址： https://www.infinilabs.cn/download

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：https://discord.gg/4tKTMkkvVX

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

在之前的文章中，有通过极限网关实现容灾的案例。今天给大家介绍 Easysearch 的跨集群复制功能。该功能可在集群之间复制数据，应用场景包括但不限于以下举例：

• 灾备同步：将数据同步到灾备中心，灾备中心可对外提供查询服务。
• 读写分离：单一集群读写压力都较大时，为了避免读写互相干扰造成性能降级，可将读压力分流到另外的集群。
• 就近查询：在多地中心之间复制数据，应用只需连接本地 ES 集群读取数据，避免网络延时和干扰。

跨集群复制使用 active-passive 模型，由目标集群主动拉取数据变化到本地，因此对源集群影响很小。

先决条件

• 源集群和目标集群都必须安装 cross-cluster-replication 和 index-management 插件。安装插件参考这里。
• 如果目标集群的 easysearch.yml 文件中覆盖了 node.roles，确保它也包括 remote_cluster_client 角色，默认已启用。

演示环境

• 源集群( leader 集群 ): 192.168.3.45:9200
• 目标集群( follower 集群 ): 192.168.3.39:9200
• 两个集群都已启用 security 功能。

设置集群间证书互信

将两个集群的证书合并到一个文件，将文件放到 config 目录下。

cat ca-A.crt ca-B.crt > trust-chain.pem

更新 easysearch.yml 文件，变化如下。

#security.ssl.transport.ca_file: ca.crt
security.ssl.transport.ca_file: trust-chain.pem

设置跨群集连接

在目标集群建立源集群的连接信息。在 INFINI console 的开发工具中，选中目标集群，执行以下命令。

PUT /_cluster/settings?pretty
{
  "persistent": {
    "cluster": {
      "remote": {
        "primary": {
          "seeds": ["192.168.3.45:9300"]
        }
      }
    }
  }
}

开始复制

首先在源集群创建测试索引 test , 并向索引写入数据。如果有测试索引，此步可省略。

POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "1" } }
{ "field1" : "value1" }
{ "create" : { "_index" : "test", "_id" : "2" } }
{ "field2" : "value2" }

然后在目标集群，创建一个名为 follower-test 的索引来复制源集群中 test 索引的内容。follower-test 可更换成自己想要的名字。

PUT /_replication/follower-test/_start?pretty
{
   "leader_alias": "primary",
   "leader_index": "test",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}

• leader_alias 指定之前创建的连接名称 primary 。
• leader_index 指定想要复制的索引名称 test 。
• use_roles 指定用什么角色访问对应的集群，为了安全使用最小权限，命令中的角色是系统自带的。

命令执行完后，会在目标集群建立名为 follower-test 的索引，其内容来自源集群的 test 索引。 我们可以看到，其内容就是之前插入的两个文档。

确认复制状态

可以看到 follow-test 处于同步的状态会实时同步远端的数据。

GET /_replication/follower-test/_status?pretty

在源集群再插入数据，看是否会同步。

POST /_bulk?pretty
{ "index" : { "_index" : "test", "_id" : "3" } }
{ "field3" : "value3" }
{ "create" : { "_index" : "test", "_id" : "4" } }
{ "field4" : "value4" }

目标集群查询索引，文档 3 和 4 已同步。

暂停和恢复复制

如果需要停机维护或其他原因想暂停复制功能，可使用暂停和恢复索引复制。

暂停

暂停目标集群上的索引复制。源集群索引再有新的变化，不会进行同步。

POST /_replication/follower-test/_pause?pretty
{}

暂停后查看索引复制状态为 PAUSED 。

GET /_replication/follower-test/_status?pretty

恢复

恢复目标集群上的索引复制。

POST /_replication/follower-test/_resume?pretty
{}

停止复制

为了保证数据的一致性，目标集群上的 follower 索引都是只读的。如果要切换到可读写的状态，需要先停止复制。我们先直接写入数据，会报禁止该操作。 停止复制
执行停止复制命令，索引变为可读写状态，一个独立状态，不再会从源端复制内容。想要删除索引之前，也要先停止复制。

POST /_replication/follower-test/_stop?pretty
{}

再次写入数据测试，成功。

自动跟随

前面给大家演示了单个索引的复制操作，对于每天自动创建一个索引的场景（日期后缀），这样的操作不免太麻烦了。跨集群复制的自动跟随功能，可以在目标集群建立一个复制模式，如果源集群新建索引名称匹配该模式，目标集群会自动创建一个索引来复制它。

创建复制模式
先在目标集群建立一个复制模式，模式名叫 nginx-index ，会自动复制源集群上 nginx 开头的索引。

POST /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index",
   "pattern": "nginx*",
   "use_roles":{
      "leader_cluster_role": "cross_cluster_replication_leader_full_access",
      "follower_cluster_role": "cross_cluster_replication_follower_full_access"
   }
}

源集群创建 nginx 开头的索引。

POST /nginx-1/_doc/
{
"test":"test"
}

POST /nginx-2/_doc/
{
"test":"test2"
}

目标集群查看复制结果。

停止自动跟随

如果不想复制新创建 nginx 开头的索引，可以使用停止跟随。停止自动跟随仅仅停止任何新的自动跟随活动，不会停止现存自动跟随启动的复制。

DELETE /_replication/_autofollow?pretty
{
   "leader_alias" : "primary",
   "name": "nginx-index"
}

上述命令不会影响目标集群上 nginx-1 和 nginx-2 索引的复制。而且 nginx-1 和 nginx-2 索引是只读的，如果要切换到读写状态，先停止复制。

POST /_replication/nginx-1/_stop?pretty
{}

小结

这次实战主要演示了跨集群复制的操作过程：

1. 建立证书互信
2. 目标集群创建跨集群连接
3. 开始复制：单索引或自动跟随复制
4. 管理复制：暂停、查看状态、恢复、停止、删除自动跟随

好的，这次跨集群复制实战就到这里了，更多的内容大家可参考官方文档。如遇到问题，可以通过微信群、Discord 联系我们。

关于 Easysearch

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

官网文档：https://www.infinilabs.com/docs/latest/easysearch

下载地址：https://www.infinilabs.com/download

INFINI Labs 产品重量级更新！！！本次更新了很多亮点功能，如 Easysearch 新增跨集群复制 (CCR)、支持快照生命周期管理 (SLM) 功能等；支持多集群、跨版本的搜索基础设施统一管控平台 Console 新增了免费授权申请功能等。欢迎大家下载使用。

Console 在线体验：http://demo.infini.cloud (用户名/密码：readonly/readonly)。

INFINI Easysearch v1.2.0

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Features

• 正式发布快照生命周期管理 (SLM) API, 支持定时备份和删除快照，以及保留快照的个数
• 增加跨集群复制 (Cross-cluster replication) 功能：
  • 支持手动或自动复制索引
  • 支持暂停和恢复复制索引
  • 支持取消指定索引的跨集群复制

Bug Fix

• security 模块修复缺少某些角色验证属性的问题

Improvements

• 兼容 ES6.0 版本的索引

INFINI Gateway v1.15.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway，可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Features

• 增加 auto_generate_doc_id 在线过滤器，支持 index 自动生成 _id

Bug Fix

• 修复 floating_ip 错误抢占的问题
• 修复 elasticsearch 对 x-forwarded-for 的错误覆盖问题
• 修复 queue_consumer 在队列没有消息时高 CPU 占用的问题

INFINI Console v1.3.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 本次更新如下：

Features

• 数据看板新增新增 Dashboard 导入导出功能

• 数据看板表格组件 UI 调整，并新增排序功能
• 数据看板组件支持多指标（折线图、面积图、柱状图、条形图）

• 数据迁移新增增量迁移、定时运行功能
• 数据比对新增增量比对、定时运行功能

更多参见：增量数据迁移介绍

• 监控报表新增索引，节点健康状态指标
• 新增免费授权申请功能

• 新增 Agent 管理功能
  • Agent 注册以及基本信息修改
  • 查看 Agent 主机 ES 进程信息，进程关联到已注册集群后，自动采集该 ES 集群指标及日志
  • 通过 Agent 查看 ES 节点日志
  • Agent 支持 Linux 平台脚本一键安装

更多参见 ：Agent 管理功能介绍

Bug fix

• 修复没给菜单权限，左侧菜单依然显示的问题
• 修复删除数据看板 Dashboard 时 url 中 id 不更新的问题
• 修复数据看板指标字段搜索无数据的问题
• 修复数据探索切换索引（视图）时报错的问题
• 修复数据探索切换时间字段后索引显示不正常的问题
• 修复数据探索切换表格样式的问题
• 修复数据看板框选一个坐标点进行时间过滤时无数据的问题
• 修复数据看板只读用户标签页样式的问题
• 修复数据看板组件放大后进入编辑界面 UI 不正常的问题

Improvements

• 节点监控详情分片列表增加索引写入指标
• 数据看板柱状图和条形图新增配置是否堆叠
• 告警模版添加函数 get_keystore_secret 支持访问 keystore 变量

INFINI Agent v0.5.0

INFINI Agent 是 INFINI Console 的一个可选探针组件，负责采集和上传集群指标和日志等信息，并可通过 Console 管理。Agent 支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。

探针 Agent 本次更新如下：

Features

• 支持将 Agent 注册到 Console
• 添加保存配置到动态加载目录接口

Improvements

• 优化自动发现 Elasticsearch 实例进程
• 优化查看 Elasticsearch 实例日志相关 API

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（https://github.com/infinilabs） 中的对应项目中提交 Feature Request 或提交 Bug。

• INFINI Gateway： https://github.com/infinilabs/gateway/issues
• INFINI Console： https://github.com/infinilabs/console/issues
• 下载地址： https://www.infinilabs.com/download

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com