降本增效
用 Easysearch 帮助大型车企降本增效
Easysearch • yangmf2040 发表了文章 • 0 个评论 • 4767 次浏览 • 2024-02-02 15:15
最近某头部汽车集团需要针对当前 ES 集群进行优化，背景如下： ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用，合计超 50 余套集群，累计数据超 1.5PB 。 本文针对其中一个 ES 集群进行分享，该集群原本使用的是 ES 7.3.2 免费版，数据已经 130TB 了，14 个节点。写入数据时经常掉节点，写入性能也不稳定，当天的数据写不完。迫切需要新的解决方案。 分析业务场景后总结需求要点：主要是写，很少查。审计需求，数据需要长期保存。 这个需求比较普遍，处理起来也很简单：
- 使用 Easysearch 软件，只需少量节点存储近两天的数据。
- 索引设置开启 ZSTD 压缩功能，节省磁盘空间。
- 每天索引数据写完后，第二天执行快照备份存放到 S3 存储。
- 备份成功后，删除索引释放磁盘空间。
- 需要搜索数据时，直接从快照搜索。
将近期的数据，存放到本地磁盘，保障写入速度。写入完毕的索引，在执行快照备份后，可删除索引，释放本地磁盘空间。
Easysearch 配置要点
path.repo: ["/S3-path"]
node.roles: ["data","search"]
node.search.cache.size: 500mb- path.repo : 指定 S3 存储路径，上传快照用。
- node.roles : 只有 search 角色的节点，才能去搜索快照中的数据。
- node.search.cache.size : 执行快照搜索时的，缓存大小。
更多信息请参考官方文档。
旧数据迁移
通过 Console 将原 ES 集群的数据，迁移到新 Easysearch 集群。迁移时，复制 mapping 和 setting，并在 setting 中添加如下设置。
"codec": "ZSTD",
"source_reuse": true,
原索引数据量大，可拆分成多个小任务。
迁移完，索引存储空间一般节省 50% 左右。
原索引 279GB ，迁移完后 138GB。
搜索快照数据
挂载快照后，搜索快照里的索引和搜索本地的索引，语法完全一样。
如何判断一个索引是在快照还是本地磁盘呢？可以查看索引设置里的 settings.index.store.type
如果是 remote_snapshot ，说明是快照中的数据。如果是空值，则是集群本地的数据。
这次迁移，节省了 6 台主机资源。更重要的是，用上对象存储后，主机磁盘空间压力骤减。
这次介绍就到这里了，有问题联系我。
关于 Easysearch
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
【INFINI 动手实战训练营-北京站】海量数据不再头疼，使用 Easysearch 来实现降本增效，硬件直接减半
Easysearch • liaosy 发表了文章 • 0 个评论 • 2673 次浏览 • 2024-01-16 00:44
您是否遇到过以下问题？
- 当前部分原始日志压缩归档存放到 HDFS，但不能直接灵活查询；
- 使用 Elasticsearch 存储日志，开销较大，硬件资源投入较高；
- 当前日志集群不断增长，存储接近 PB 量级，且还在不断接入新的数据；
- 希望降低日志保留成本，同时满足按需查询的需求，平衡性能和成本；
- 集群规模大，分片过多，管理存在挑战，希望降低维护成本等。
针对使用 Elasticsearch 来作为日志存储的以上痛点，INFINI Labs 推出的 Easysearch 提供了若干存储优化的解决方案：
- 优化措施一：集成高效压缩算法 Easysearch 采用业界最先进的 Zstd 压缩算法，高压缩率，低 CPU 消耗，针对 Doc Values、Store 字段进行高度无缝压缩，不影响正常的使用体验，可以降低 50% 的存储开销。
- 优化措施二：无缝去除 Source 字段 Easysearch 利用 DocValues 和 BKD Tree 来重建 Source，合并冗余存储，不影响日志的正常检索和查看，可以大幅降低存储需求，在一些指标场景，甚至可以降低 80% 的存储开销。
- 优化措施三：归档数据直接检索 您是否还在通过关闭索引来降低海量数据带来的集群压力，或者您是否已经将快照备份直接放到 S3 或者 HDFS 中了，现在通过 Easysearch 提供的归档数据的直接检索能力，可以进一步释放本地节点的磁盘空间，进而释放物理机器资源，并根据需要按需查询归档索引，而不需要恢复归档再查询，简单方便。
通过以上优化举措，我们可以用不到一半的机器即可承载原有的数据，并且结合 Easysearch 内置其它的内核优化，索引和查询性能也将大幅提升，同时集群更加稳定可靠。
快来与 INFINI Labs 的技术专家面对面，第一时间了解极限实验室的发布最新产品和功能特性，通过动手实战，快速掌握最前沿的搜索技术，并用于实际项目中。活动免费，欢迎报名参加。
活动时间：2024 年 1 月 18 日 13:30～17:30
活动地点：北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室
分享议题
- Easysearch 总体介绍及搭建实战
- Easysearch 存储优化原理与实践
- Elasticsearch -> Easysearch 在线迁移实操
- Console、Gateway、Loadgen 及 INFINI Labs 其他工具介绍与使用
参会提示
- 请务必自备电脑（Windows 系统环境请提前安装好 Linux 虚拟机）
- 请提前在 INFINI Labs 官网下载对应平台最新安装包（INFINI Easysearch、INFINI Gateway、INFINI Console）
- 下载地址：https://www.infinilabs.com/download
- 如有任何疑问可添加 INFINI Labs 小助手（微信号: INFINI-Labs）进行联系
活动报名
名额有限，对 Easysearch 搜索引擎感兴趣的朋友们速度报名（扫描海报中二维码或点击此处 链接 即可免费报名）。
用 Easysearch 帮助大型车企降本增效
Easysearch • yangmf2040 发表了文章 • 0 个评论 • 4767 次浏览 • 2024-02-02 15:15
最近某头部汽车集团需要针对当前 ES 集群进行优化，背景如下： ES 用于支撑包括核心营销系统、管理支持系统、财务类、IT 基础设施类、研发、自动驾驶等多个重要应用，合计超 50 余套集群，累计数据超 1.5PB 。 本文针对其中一个 ES 集群进行分享，该集群原本使用的是 ES 7.3.2 免费版，数据已经 130TB 了，14 个节点。写入数据时经常掉节点，写入性能也不稳定，当天的数据写不完。迫切需要新的解决方案。 分析业务场景后总结需求要点：主要是写，很少查。审计需求，数据需要长期保存。 这个需求比较普遍，处理起来也很简单：
- 使用 Easysearch 软件，只需少量节点存储近两天的数据。
- 索引设置开启 ZSTD 压缩功能，节省磁盘空间。
- 每天索引数据写完后，第二天执行快照备份存放到 S3 存储。
- 备份成功后，删除索引释放磁盘空间。
- 需要搜索数据时，直接从快照搜索。
将近期的数据，存放到本地磁盘，保障写入速度。写入完毕的索引，在执行快照备份后，可删除索引，释放本地磁盘空间。
Easysearch 配置要点
path.repo: ["/S3-path"]
node.roles: ["data","search"]
node.search.cache.size: 500mb- path.repo : 指定 S3 存储路径，上传快照用。
- node.roles : 只有 search 角色的节点，才能去搜索快照中的数据。
- node.search.cache.size : 执行快照搜索时的，缓存大小。
更多信息请参考官方文档。
旧数据迁移
通过 Console 将原 ES 集群的数据，迁移到新 Easysearch 集群。迁移时，复制 mapping 和 setting，并在 setting 中添加如下设置。
"codec": "ZSTD",
"source_reuse": true,
原索引数据量大，可拆分成多个小任务。
迁移完，索引存储空间一般节省 50% 左右。
原索引 279GB ，迁移完后 138GB。
搜索快照数据
挂载快照后，搜索快照里的索引和搜索本地的索引，语法完全一样。
如何判断一个索引是在快照还是本地磁盘呢？可以查看索引设置里的 settings.index.store.type
如果是 remote_snapshot ，说明是快照中的数据。如果是空值，则是集群本地的数据。
这次迁移，节省了 6 台主机资源。更重要的是，用上对象存储后，主机磁盘空间压力骤减。
这次介绍就到这里了，有问题联系我。
关于 Easysearch
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。
【INFINI 动手实战训练营-北京站】海量数据不再头疼，使用 Easysearch 来实现降本增效，硬件直接减半
Easysearch • liaosy 发表了文章 • 0 个评论 • 2673 次浏览 • 2024-01-16 00:44
您是否遇到过以下问题？
- 当前部分原始日志压缩归档存放到 HDFS，但不能直接灵活查询；
- 使用 Elasticsearch 存储日志，开销较大，硬件资源投入较高；
- 当前日志集群不断增长，存储接近 PB 量级，且还在不断接入新的数据；
- 希望降低日志保留成本，同时满足按需查询的需求，平衡性能和成本；
- 集群规模大，分片过多，管理存在挑战，希望降低维护成本等。
针对使用 Elasticsearch 来作为日志存储的以上痛点，INFINI Labs 推出的 Easysearch 提供了若干存储优化的解决方案：
- 优化措施一：集成高效压缩算法 Easysearch 采用业界最先进的 Zstd 压缩算法，高压缩率，低 CPU 消耗，针对 Doc Values、Store 字段进行高度无缝压缩，不影响正常的使用体验，可以降低 50% 的存储开销。
- 优化措施二：无缝去除 Source 字段 Easysearch 利用 DocValues 和 BKD Tree 来重建 Source，合并冗余存储，不影响日志的正常检索和查看，可以大幅降低存储需求，在一些指标场景，甚至可以降低 80% 的存储开销。
- 优化措施三：归档数据直接检索 您是否还在通过关闭索引来降低海量数据带来的集群压力，或者您是否已经将快照备份直接放到 S3 或者 HDFS 中了，现在通过 Easysearch 提供的归档数据的直接检索能力，可以进一步释放本地节点的磁盘空间，进而释放物理机器资源，并根据需要按需查询归档索引，而不需要恢复归档再查询，简单方便。
通过以上优化举措，我们可以用不到一半的机器即可承载原有的数据，并且结合 Easysearch 内置其它的内核优化，索引和查询性能也将大幅提升，同时集群更加稳定可靠。
快来与 INFINI Labs 的技术专家面对面，第一时间了解极限实验室的发布最新产品和功能特性，通过动手实战，快速掌握最前沿的搜索技术，并用于实际项目中。活动免费，欢迎报名参加。
活动时间：2024 年 1 月 18 日 13:30～17:30
活动地点：北京市海淀区 Wework 辉煌时代大厦 3 楼 3E 会议室
分享议题
- Easysearch 总体介绍及搭建实战
- Easysearch 存储优化原理与实践
- Elasticsearch -> Easysearch 在线迁移实操
- Console、Gateway、Loadgen 及 INFINI Labs 其他工具介绍与使用
参会提示
- 请务必自备电脑（Windows 系统环境请提前安装好 Linux 虚拟机）
- 请提前在 INFINI Labs 官网下载对应平台最新安装包（INFINI Easysearch、INFINI Gateway、INFINI Console）
- 下载地址：https://www.infinilabs.com/download
- 如有任何疑问可添加 INFINI Labs 小助手（微信号: INFINI-Labs）进行联系
活动报名
名额有限，对 Easysearch 搜索引擎感兴趣的朋友们速度报名（扫描海报中二维码或点击此处 链接 即可免费报名）。
