搜索客，搜索人自己的社区

搜索客社区日报第1751期 (2023-12-06）

社区日报 • kin122 发表了文章 • 0 个评论 • 2230 次浏览 • 2023-12-07 10:52 • 来自相关话题

【搜索客社区日报】第1749期 (2023-12-04）

社区日报 • yuebancanghai 发表了文章 • 0 个评论 • 2304 次浏览 • 2023-12-05 11:22 • 来自相关话题

社区日报第1749期 (2023-12-01）

社区日报 • laoyang360 发表了文章 • 0 个评论 • 2303 次浏览 • 2023-12-05 11:22 • 来自相关话题

【搜索客社区日报】第1750期 (2023-12-05）

社区日报 • God_lockin 发表了文章 • 0 个评论 • 2513 次浏览 • 2023-12-05 11:22 • 来自相关话题

使用极限网关助力 ES 集群无缝升级、迁移上/下云

Easysearch • yangmf2040 发表了文章 • 0 个评论 • 2639 次浏览 • 2023-12-04 08:22 • 来自相关话题

在工作中大家可能会遇到以下这些场景：

自建 ES 集群需要平滑迁移到 XX 云；
从 XX 云将 ES 集群迁移到自建机房；
ES 集群进行跨版本升级，同时保留回退能力；
这些场景往往都还有个共同的需求：迁移过程要保证业务的最小停机时间。
幸运的是，在这三个场景中，我们都能使用极限网关来帮助我们进行更丝滑的迁移或升级。下面，我们以迁移 ES 集群上云为例，介绍下整个工作过程。
自建版本： 5.4.2
云上版本： 5.6.16
Gateway 和 Console 建议用最新版本

迁移架构

通过将应用端流量走网关的方式，请求同步转发给自建 ES，网关记录所有的写入请求，并确保顺序在 XX 云 ES 上重放请求，两侧集群的各种故障都妥善进行了处理，从而实现透明的集群双写，实现安全无缝的数据迁移。
![](https://www.infinilabs.com/img ... /1.jpg)
业务端如果已经部署在云上，可以使用云上的 SLB 服务来访问网关，确保后端网关的高可用，如果业务端和极限网关还在企业内网，可以使用极限网关自带的 4 层浮动 IP 来确保网关的 [高可用](https://www.infinilabs.com/doc ... ng_ip/) 。

执行步骤

部署 INFINI Gateway

为了保证数据的无缝透明迁移，通过网关来进行双写。
1. [系统调优](https://gateway.infinilabs.com ... ation/)
2. [安装 INFINI Gateway](https://www.infinilabs.com/doc ... stall/)
3. 修改网关配置
 在此 [下载](https://github.com/infinilabs/ ... sk.yml) 网关双写配置，默认网关会加载配置文件 gateway.yml 。如果要指定其他配置文件使用 -config 选项。
 配置文件内容较多，下面仅展示必要部分。
 #primary PRIMARY_ENDPOINT: <a href="http://192.168.56.3:7171" rel="nofollow" target="_blank">http://192.168.56.3:7171</a> PRIMARY_USERNAME: elastic PRIMARY_PASSWORD: password PRIMARY_MAX_QPS_PER_NODE: 10000 PRIMARY_MAX_BYTES_PER_NODE: 104857600 #100MB/s PRIMARY_MAX_CONNECTION_PER_NODE: 200 PRIMARY_DISCOVERY_ENABLED: false PRIMARY_DISCOVERY_REFRESH_ENABLED: false #backup BACKUP_ENDPOINT: <a href="http://192.168.56.3:9200" rel="nofollow" target="_blank">http://192.168.56.3:9200</a> BACKUP_USERNAME: admin BACKUP_PASSWORD: admin BACKUP_MAX_QPS_PER_NODE: 10000 BACKUP_MAX_BYTES_PER_NODE: 104857600 #100MB/s BACKUP_MAX_CONNECTION_PER_NODE: 200 BACKUP_DISCOVERY_ENABLED: false BACKUP_DISCOVERY_REFRESH_ENABLED: false 
 PRIMARY_ENDPOINT：配置主集群地址和端口
 PRIMARY_USERNAME、PRIMARY_PASSWORD: 访问主集群的用户信息
 BACKUP_ENDPOINT：配置备集群地址和端口
 BACKUP_USERNAME、BACKUP_PASSWORD: 访问备集群的用户信息
4. 启动网关
 启动网关并指定刚刚创建的配置，如下：
 ./gateway-linux-amd64 -config replication_via-disk.yml.yml
 
 部署 INFINI Console
 
 为了方便在多个集群之间快速切换，管理网关消费任务、查看队列等。使用 [INFINI Console](https://www.infinilabs.com/docs/latest/console/) 来进行管理。
5. [下载安装](https://www.infinilabs.com/doc ... stall/)
6. 启动服务
 ./console-linux-amd64 -service install
 ./console-linux-amd64 -service start
7. 注册资源
 将 ES 集群、极限网关都注册到 Console 中。
 - [注册 ES 集群](https://www.infinilabs.com/doc ... uster/)：方便切换集群，执行命令。除了新旧集群外，将网关也在此注册一次，方便验证网关功能。
 - [注册 Gateway](https://www.infinilabs.com/doc ... teway/)：管理网关任务、队列。
 
 测试 INFINI Gateway
 
 为了验证网关是否正常工作，我们通过 INFINI Console 来快速验证一下。
 首先通过走网关的接口来创建一个索引，并写入一个文档，如下：
 ![](https://www.infinilabs.com/img ... /2.png)
 查看 5.4.2 集群的数据情况，如下：
 ![](https://www.infinilabs.com/img ... /3.png)
 查看集群 5.6.16 的数据情况，如下：
 ![](https://www.infinilabs.com/img ... /4.png)
 数据一致，说明网关配置都正常，验证结束。
 
 调整网关的消费策略
 
 因为我们需要在全量数据迁移之后，才能进行增量数据的追加，在全量数据迁移完成之前，我们应该暂停增量数据的消费。修改网关配置里面 Pipeline consume-queue_backup-bulk_request_ingestion-to-backup的参数 auto_start为 false，表示不自动启动该任务，具体配置方法如下：
 ![](https://www.infinilabs.com/img ... /5.png)
 修改完配置之后，需要重新启动网关。
 由于之前已经注册了网关，待全量迁移完成之后，可以通过后台的 Task 管理来进行后续的任务启动、停止，如下：
 ![](https://www.infinilabs.com/img ... /6.png)
 
 切换流量
 
 接下来，将业务正常写的流量切换到网关，也就是需要把之前指向 ES 5.4.2 的地址指向网关的地址，如果 5.4.2 集群开启了身份验证，业务端代码同样需要传递身份信息，和 5.4.2 之前的用法保持不变。
 ![](https://www.infinilabs.com/img ... /7.png)
 切换流量到网关之后，用户的请求还是以同步的方式正常访问自建集群，网关记录到的请求会按顺序记录到 MQ 里面，但是消费是暂停状态。
 如果业务端代码使用的 ES 的 SDK 支持 Sniff，并且业务代码开启了 Sniff，那么应该关闭 Sniff，避免业务端通过 Sniff 直接链接到后端的 ES 节点，所有的流量现在应该都只通过网关来进行访问。
 
 全量数据迁移
 
 在流量迁移到网关之后，我们开始对自建 Elasticsearch 集群的数据进行全量迁移到 XX 云 Elasticsearch 集群。
 ![](https://www.infinilabs.com/img ... /8.jpg)
 全量迁移已有的数据的方式有很多种：
通过快照的方式进行恢复
使用 INFINI Console 进行[数据迁移](https://www.infinilabs.com/doc ... ation/)

增量数据迁移

在全量导入的过程中，可能存在数据的增量修改，不过这部分请求都已经完整记录下来了，我们只需要开启网关的消费任务即可将积压的请求应用到云端的 ES 集群。
![](https://www.infinilabs.com/img ... /9.jpg)
示例操作如下：
![](https://www.infinilabs.com/img ... 10.png)
通过观察队列是否消费完成来判断增量数据是否做完，如下：
![](https://www.infinilabs.com/img ... 11.png)

执行数据比对

由于集群内部的数据可能比较多，我们需要进行一个完整的比对才能确保数据的完整性，可以通过 INFINI Console 的[数据比对](https://www.infinilabs.com/doc ... rison/) 工具来进行。

切换集群

如果验证完之后，两个集群的数据已经完全一致了，可以将程序切换到新集群，或者将网关的配置里面的主备进行互换，仍旧写两个集群，先写云端集群，再写自建集群。
![](https://www.infinilabs.com/img ... 12.jpg)
双集群在线运行一段时间，待业务完全验证之后，再安全下线老集群，如遇到问题，也可以随时回切到老集群。

小结

通过使用极限网关，自建 ES 集群可以安全无缝的迁移上云，在迁移的过程中，两套集群通过网关进行了解耦，两套集群的版本也可以不一样，在迁移的过程中还能实现版本的无缝升级。
工作流程图
![](https://www.infinilabs.com/img ... 12.png)

INFINI Labs 产品更新 | 修复 Easysearch 跨集群复制索引同步问题，Gateway 内存异常增长等问题

Easysearch • liaosy 发表了文章 • 0 个评论 • 2521 次浏览 • 2023-12-01 18:45 • 来自相关话题

![release](https://www.infinilabs.com/img ... er.png)

INFINI Labs 产品又更新啦~，本次更新主要对 Easysearch、Gateway、Console、Agent 等产品功能进行优化和相关 Bug 修复，解决了内存异常增长等问题，以下是详细说明。

INFINI Easysearch v1.6.2

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

Easysearch 本次更新如下：

Bug fix

修复跨集群复制（CCR）不能对自动滚动生成的索引进行同步的问题

Improvements
优化初始化脚本，增加-s/-slient 参数，自动安装。
新增含 jdk/plugins 的 bundle 安装包

INFINI Gateway v1.20.0

INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。

Gateway 本次更新如下：

Bug fix
修复由 Framework Bug 造成连接数不释放、内存异常增长的问题

Improvements
增加配置，允许设置 fasthttp client 相关参数

INFINI Console v1.12.0

INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管，企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。

Console 在线体验： <http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。

Console 本次更新如下：

Bug fix
修复数据探索 multi fields 字段计算 top values 报错的问题
修复由 Framework Bug 造成连接数不释放、内存异常增长的问题
修复内网模式下静态资源远程加载的问题
修复数据看板数据源配置校验异常的问题

Improvements
优化数据探索计算 top values，使用先采样后，后取 top values
可通过配置参数 http_client.read_buffer_size 设置读取缓存大小，解决开发工具执行命令时，默认缓存太小的问题

INFINI Agent v0.7.1

INFINI Agent 是 INFINI Console 的一个可选探针组件，负责采集和上传集群指标和日志等信息，并可通过 Console 管理。Agent 支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。

Agent 本次更新如下：

Features
添加 http processor

Bug fix
修复由 Framework Bug 造成连接数不释放、内存异常增长的问题

Improvements
进一步优化内存占用，降到 50M 以下

INFINI Framework

INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。

Framework 本次更新如下：
fix: fix the issue of disk queue was blocked
chore: checkout specify branch before pull

期待反馈

欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;）中的对应项目中提交 Feature Request 或提交 Bug。
下载地址： <https://www.infinilabs.com/download>;

您还可以通过邮件联系我们：hello@infini.ltd

或者拨打我们的热线电话：(+86) 400-139-9200

欢迎加入 Discord 聊天室：<https://discord.gg/4tKTMkkvVX>;

也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。

![联系我们](https://www.infinilabs.com/img ... ew.jpg)

关于极限科技（INFINI Labs）

![INFINI Labs](https://www.infinilabs.com/img ... bs.png)

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：<https://www.infinilabs.com>;