搜索型数据库的技术发展历程与趋势前瞻
INFINI Labs 小助手 发表了文章 • 0 个评论 • 2389 次浏览 • 2024-06-26 13:13
概述
随着数字科技的飞速发展和信息量的爆炸性增长，搜索引擎已成为我们获取信息的首选途径之一，典型的代表厂商如 Google。然而，随着用户需求的不断演变，传统的搜索技术已经无法满足人们对信息的实时性、个性化和多样性的需求。
在企业内部，这种需求更加显著。随着企业数字化转型的持续深化，非结构化数据正日益成为各类组织数据增长的主要来源，也是数据体系中至关重要的组成部分，蕴含着巨大的价值。如何高效地存储和利用非结构化数据的重要性也日益凸显。企业需要更高效地管理和检索内部的海量数据，以支持业务决策和运营需求。
据 IDC 数据预计，到 2025 年，80%的数据将是非结构化数据；而根据 Gartner 的数据显示，从 2019 年到 2024 年，非结构化数据容量预计将增加两倍。然而，目前非结构化数据面临着表现形式多样、管理复杂性高、价值挖掘难度大等诸多挑战。传统的数据库系统往往无法满足企业对实时性和多样性的搜索需求，为了解决这些挑战，以自动分词、倒排索引、相关度计算、向量检索引擎等技术为核心构建的搜索型数据库应运而生。这些数据库自上世纪 90 年代诞生以来不断发展演进，正在成为数据库领域中不可或缺的一个重要分支。
什么是搜索型数据库？
搜索型数据库早期又称全文数据库，或者企业搜索引擎，是一种专门用于存储和管理大规模文本数据，并支持高效的文本搜索和信息检索的数据库系统，不过随着技术不断发展和应用场景日益丰富，目前搜索型数据库不仅仅可以处理长文本数据，也可以处理常见的数值、日期等结构化数据，IP、地理位置信息、图片、音视频等非结构化数据，搜索型数据库的应用范畴不断拓展，正在由支撑业务系统检索加速、IT 运维可观测性、聚合查询分析等向多场景、多模态数据搜索方向发展。
典型的搜索数据库一般具有以下特点：
- 灵活的索引能力：搜索数据库能够处理多种类型的数据，包括文本、图像、音频、视频等非结构化数据。它们采用自动分词、倒排索引等技术，能够高效地处理不同格式和类型的数据，提供灵活的搜索和检索功能。
- 高效的查询性能：搜索数据库具有高效的查询处理能力，能够快速索引和检索大规模的数据。借助优化的索引结构和查询算法，搜索数据库能够在短时间内准确地返回与查询相关的结果，提高用户的搜索效率，常用于解决关系型数据库的高并发检索需求。
- 支持复杂的搜索功能：搜索数据库提供多样化的搜索功能，包括全文检索、模糊搜索、精确搜索、范围搜索、向量搜索、地理信息检索等。用户可以根据不同的需求和场景，灵活地选择和组合不同的搜索功能，以获取符合期望的搜索结果。
- 高性能和可扩展性：搜索数据库具有高性能和可扩展性的特点，能够处理大规模数据和高并发访问。它们采用分布式架构和并行计算技术，实现了水平扩展，能够满足不断增长的数据量和用户访问量的需求。
综上所述，搜索数据库具有处理非结构化数据、实时搜索和更新、多样化的搜索功能、个性化推荐和智能搜索、高性能和可扩展性、全面的搜索结果展示等特点，是处理大规模数据和提供高效搜索服务的重要工具。
搜索型数据库的应用场景
搜索型数据库在各行各业都有广泛的应用，以下是一些典型的应用场景：
- 零售和电商：在零售和电商行业，搜索型数据库被广泛应用于产品搜索和推荐系统中。通过搜索功能，顾客可以轻松查找所需商品，而个性化推荐系统则可以根据用户的搜索历史和行为习惯推荐相关的产品，提高购物体验和交易转化率。
- 医疗保健：在医疗保健行业，搜索型数据库被用于医学文献检索、疾病诊断和药物搜索等方面。医生和研究人员可以利用搜索功能找到相关的医学文献和研究成果，帮助诊断疾病和制定治疗方案。
- 金融服务：在金融服务行业，搜索型数据库被用于金融数据检索、市场分析和投资决策等方面。投资者可以通过搜索功能查找相关的金融数据和市场资讯，帮助他们做出更加准确的投资决策。
- 制造业：在制造业中，搜索型数据库被用于生产过程监控、质量控制和故障诊断等方面。工程师可以利用搜索功能查找相关的生产数据和技术资料，帮助他们解决生产中的问题和挑战。
- 媒体和娱乐：在媒体和娱乐行业，搜索型数据库被用于内容检索、版权管理和用户推荐等方面。用户可以通过搜索功能查找感兴趣的新闻、音乐和视频等内容，而个性化推荐系统则可以根据用户的搜索历史和偏好推荐相关的内容。
- 教育和培训：在教育和培训行业，搜索型数据库被用于学习资源检索、课程管理和学习分析等方面。学生和教师可以利用搜索功能查找相关的学习资源和课程内容，而学习分析系统则可以分析学生的搜索行为和学习表现，为教学提供参考和支持。
- IT 运维可观测性：通过搜索型数据库，可以实时监控系统的运行状况、性能指标和日志数据，帮助运维团队及时发现和解决系统故障、性能问题和异常情况，确保系统的稳定运行。
- 安全监测和威胁检测：利用搜索型数据库对系统的安全日志进行审计和监控，监测用户的访问行为和系统操作，及时发现异常行为和安全事件。同时，搜索型数据库还可以与威胁情报数据集成，对内部日志数据进行关联分析，快速识别并应对各种安全威胁和攻击行为，保障系统和数据的安全。
综上所述，搜索型数据库在各行各业都发挥着重要作用，数据规模从 GB 到 PB 不等，体现在生活中的方方面面，为用户提供了高效、准确和个性化的信息搜索和检索服务，推动了各行业的发展和进步。随着搜索技术的不断创新和发展，搜索型数据库在各行业中的应用将会越来越广泛，并持续为用户带来更加便捷和智能的搜索体验。
搜索型数据库的发展历程
搜索型数据库的发展历程可以概括如下四个阶段：
- 起步阶段（1990 年代）：搜索数据库的雏形开始于上世纪 90 年代，当时以全文检索为主要技术手段，最初用于文档检索和网络搜索。典型代表包括 AltaVista、Excite 等。
- 技术突破（2000 年代）：随着互联网的快速发展，搜索数据库开始应用于更多领域，如电子商务、社交网络等。Lucene、Sphinx 等开源搜索引擎的出现推动了搜索技术的进步。
- 商业化发展（2010 年代）：搜索数据库进入商业化阶段，以 Elasticsearch 等为代表的商业搜索引擎崭露头角。企业开始大规模应用搜索数据库来管理和检索大量数据。
- 智能化转型（2020 年代）：随着人工智能技术的发展，搜索数据库逐渐向智能化转型，开始引入机器学习、自然语言处理等技术，提供个性化推荐和智能搜索服务。同时，搜索数据库也在更多领域得到应用，如医疗保健、金融服务等。
综上所述，搜索数据库经历了从起步阶段到技术突破、商业化发展再到智能化转型的发展历程，表明了其在信息检索领域的重要性和不断演进的趋势，不并断推动着搜索技术的进步和应用范围的扩展。随着人工智能技术的不断成熟，搜索数据库将会在智能化、个性化等方面取得更大的进步，为用户提供更加优质的搜索体验。
搜索型数据库的发展情况
搜索型数据库市场上已经有不少成熟的产品和厂商，但是总的来说，搜索型数据库的界限范围有点模糊，当然其他数据库也有同样的问题，有很多数据库既是文档数据库，又是多模态数据库，还是向量数据库等等，而常见的搜索型数据库主要诞生于：
- 由搜索引擎内核库发展而来的搜索数据库，如 Elasticsearch
- 由其他数据库扩展而来的搜索数据库，如 Postgres Full-Text Search
- 从零开始整体设计的搜索数据库：如 [INFINI Pizza](https://pizza.rs/)
通过流行的 DB-Engines 的搜索引擎排行榜，可以初探国外主流的搜索型数据库的流行趋势，如下图：
可以看到 Elastic 公司的 Elasticsearch 还是依旧保持强悍，自从 Elasticsearch 十多年前掀翻了 Splunk 的桌子，硬生生的在日志领域杀出一条新路，随后大杀四方，碾压整个搜索行业，霸榜至今。Elastic 商业化增长稳健，2023 年收入超过 10 亿美金。
OpenSearch 是由 AWS 发起的 Elasticsearch 开源分支，起因是由于 Elastic 针对云厂商采取的协议变更为 Elastic+SSPL，OpenSearch 基于 Apache 2.0 协议的 Elasticsearch 7.10 版本衍生而来，目前也具备了一定的用户基础。
Splunk 是一款用于搜索、监控和分析大规模机器生成的数据的软件平台，主要用于日志和安全分析领域，属于商业闭源产品。2023 年中被思科（Cisco） 以 230 亿美元现金收购，瞬间刷爆朋友圈。另外有意思的是，前四名除了 Splunk，底层都是 Lucene 内核。
MarkLogic 成立于 2001 年，自我定位是一个 NoSQL 多模态数据库厂商，也是商业闭源软件，生态成熟但是系统过于复杂，学习曲线较陡， 2023 年初被 Progress Software 以 3.55 亿美元收购算是一个比较好的结局。
当然了，除了榜上的这些产品，还有很多优秀的挑战者正摩拳擦掌，跃跃欲试。如下面的这些项目：
vespa、Rockset、Doris，Clickhouse、quickwit、Pinot、SingleStore、qdrant、milvus、algolia、meilisearch、typesense、Manticore Search 等等。这些项目不一定都是自己定位是搜索型数据库，有侧重在 AI 领域的，有侧重在实时分析领域的等等，可谓各有千秋，不过都具备一定的搜索和分析能力，不出意外，基本上每家都要号称吊打 Elasticsearch 一番。
国内搜索型数据库的发展情况
搜索型数据库已经成为企业事实上的重要基础设施，而国内搜索型数据库的发展近些年也是开始得到重视，2023 年初，由中国信通院云计算与大数据研究所牵头，依托中国通信标准化协会大数据技术标准推进委员会，联合拓尔思、极限科技、星环科技等 30 余家企业编制的《搜索型数据库技术要求》正式出炉，该标准已成为行业内搜索型数据库技术选型和产品开发的风向标，[极限科技的 INFINI Easysearch 率先通过了该标准](https://infinilabs.cn/blog/202 ... ducts/)。
墨天轮社区也开辟了[搜索型数据库的排行榜](https://www.modb.pro/dbRank)，共有 6 家企业的产品上榜：
国内搜索型数据库的市场还在起步阶段，厂商和可选的产品也还比较少，不过随着市场的成熟，相信未来将迎来一波高速的发展。
搜索型数据库的趋势前瞻
技术在演变，场景在演变，数据也在演变，搜索数据库领域的发展也呈现出多个显著的趋势，这些趋势将进一步推动搜索技术的演进和应用范围的扩展。笔者观测到的主要的发展趋势包括以下方向供参考：
1. 趋势一：实时搜索与分析
- 实时搜索是搜索数据库领域的一个重要发展趋势，业务应用都在朝实时方向演进，用户对信息的即时性需求不断增加，要求搜索结果能够及时反映最新的数据和内容。
- 实时搜索技术通过实时索引和实时更新机制，能够实现快速的数据检索和更新，提供与时俱进的搜索结果，满足用户对信息的即时性需求。
- 目前以 Lucene 为内核的搜索型数据库基本上都只能做到 NRT（近实时）搜索，并且频繁更新带来的挑战和资源的浪费比较高，如果能做到更高效的实时性，可以大大提升用户的搜索体验和实时决策能力。
2. 趋势二：多模态混合搜索
- 多模态搜索是指在搜索过程中同时考虑多种信息形式，如文本、图像、视频等，以提高搜索结果的准确性和全面性。
- 这种技术能够通过分析和理解多种信息形式之间的关联性，为用户提供更加全面、丰富的搜索结果，适用于需要综合不同媒体形式的搜索场景。
- 现实世界的数据越来越复杂化，非结构化数据的利用的场景也越来越多，多模态可以为业务提供更加灵活的分析和探索能力，混合搜索的能力非常具有吸引力。
3. 趋势三：AI 智能语义搜索
- 大模型、AI 智能搜索技术的探索可谓是一日千里，通过利用人工智能技术来实现搜索过程中的智能化、语义化和个性化，结合自然语言处理、机器学习等技术分析用户意图，提供更加智能、个性化的搜索服务。
- 随着大模型的兴起，搜索数据库开始采用像 RAG（Retriever-Reader for Generative Question Answering）这样的大型预训练模型来提升搜索的效果。RAG 模型结合了检索器和阅读器的功能，能够实现更加准确和全面的搜索结果，为用户提供更加智能和个性化的搜索服务。
- 搜索型数据库可谓是 AI 落地最好的是试验田，Elasticsearch 通过拥抱 AI 和大模型，目前股价又重回巅峰，可喜可贺。
4. 趋势四：云原生、存算分离、Serverless
- 随着云计算技术的发展，搜索数据库正逐渐向云原生架构转变。云原生搜索数据库利用容器化、微服务架构等技术，实现了更高的灵活性、可扩展性和容错性，为企业提供了更加稳定和高效的搜索服务，并且成本更低，更加弹性。
- 存算分离是搜索数据库发展的另一重要趋势。通过将存储与计算分离，搜索数据库可以更好地适应数据存储和计算需求的变化，提高系统的性能和效率。存算分离技术使得搜索数据库能够实现更高的并发访问和更快的数据处理速度，为用户提供更加流畅和稳定的搜索体验。
- Serverless 提供开箱即用的体验，成本更低，使用更加灵活，也是目前很多搜索服务提供商正在积极探索的方向。
5. 趋势五：增强现实搜索
- 随着增强现实技术的发展，尤其是 Apple 发布的头戴式 Vision Pro，一部革命性的空间运算设备，将数位内容无缝融入实体世界，而搜索技术也将逐渐与增强现实相结合，为用户提供更加直观和沉浸式的搜索体验。增强现实搜索能够将搜索结果与现实世界相结合，结合 AI 技术为用户提供更加个性化和便捷的搜索服务，这是一个全新的领域，也意味着巨大的机会。
6. 趋势六：现代硬件的高效利用
- 现代硬件及软件运行环境已发生翻天覆地的变化， 片上计算，边缘计算，FPGA，DPU，GPU，一台设备几百核上 TB 内存已经成为现实，可运行之上的软件却还是停留在几十年前的架构。 如 Elasticsearch 其核心 Lucene（及类似实现） 是在 1997 建立的，距今已有 27 年了，虽然也在与时俱进，但是部分架构和设计理念已不具备先进性。
- 在现代的硬件上采用更先进的算法，更新的数据结构、更新的设计理论，利用最新的 CPU 指令集，向量化，批处理，充分发挥多核、大内存和 SSD 的优势，从而达到更高的效率，更低的成本，去解决之前不可能实现的问题，大有可为，也是下一代引擎需要关注的方向。
随着各类数据库功能的边界越来越模糊，应用场景高度交叉重叠，市场竞争也变得白热化，不过笔者认为垂直领域的搜索型数据库机会还是很大，而想做大而全的数据库产品已经没有太多的市场生存空间，一定要在垂直领域有特别专注的地方，我们 INFINI Labs 正在基于 Rust 研发的下一代搜索引擎 [INFINI Pizza](https://pizza.rs/)，就侧重于面向终端用户场景，解决海量数据更新情况下，同时满足高并发和低延迟的核心业务实时检索需求。
总结
综上所述，搜索数据库领域正处于快速发展的阶段。随着互联网数据量的不断增长和用户需求的不断变化，搜索数据库技术将不断创新和进步，以满足用户对信息获取的更加即时、个性化和多样化的需求。未来，随着人工智能技术的进一步发展和应用，搜索数据库将会变得更加智能化、普及化和多样化，为用户提供更加高效、准确和个性化的搜索服务，推动互联网信息的更加便捷获取和利用。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：[https://infinilabs.cn](https://infinilabs.cn)
原文：https://infinilabs.cn/blog/202 ... ases/
- 由搜索引擎内核库发展而来的搜索数据库，如 Elasticsearch
【搜索客社区日报】第1845期 (2024-06-25）
God_lockin 发表了文章 • 0 个评论 • 2202 次浏览 • 2024-06-25 09:58
1. llm 当红炸子教程，Andrej Karpathy 写的
https://github.com/karpathy/LLM101n
2. 可以拿来私有部署的llm外壳
https://github.com/lobehub/lobe-chat
3. AI 领域宝藏博主宝玉老师的博客，超多很实用的干货内容
https://baoyu.io/blog
编辑：斯蒂文
更多资讯：http://news.searchkit.cn
喜报！极限科技新获得一项国家发明专利授权：“搜索数据库的正排索引处理方法、装置、介质和设备”
INFINI Labs 小助手 发表了文章 • 0 个评论 • 2171 次浏览 • 2024-06-23 00:05
近日，极限数据（北京）科技有限公司（简称：极限科技）新获得一项国家发明专利授权，专利名为 “搜索数据库的正排索引处理方法、装置、介质和设备”，专利号：ZL 2024 1 0479400.9，授权日为 2024 年 6 月 21 日，标志着极限科技在数据库搜索技术领域的自主创新能力再次得到国家级认可。
创新技术，提升搜索效率
该专利的核心创新点在于将正排索引与倒排索引在逻辑上进行分离，通过专门设计的正排索引结构，实现了文档的高效写入。这种创新方法不仅提高了搜索过程的灵活性，而且使得正排索引结构能够支持实时搜索，避免了传统搜索技术中必须等待数据落盘后才能进行搜索的限制，从而显著提升了搜索效率。
自主研发，持续创新
极限科技自成立以来，始终坚持自主研发和技术创新的道路。公司的研发团队由一批经验丰富的工程师组成，他们在数据库技术、搜索引擎和大数据处理等领域拥有深厚的专业知识和实践经验。此次专利的获得，是极限科技在自主研发道路上的又一重要里程碑，展现了公司在技术创新方面的持续努力和卓越成就。
行业领先，未来可期
极限科技的这项发明专利不仅为公司带来了技术上的突破，也为整个行业的发展提供了新的思路和方向。随着大数据时代的到来，高效的搜索技术对于信息的快速获取和处理至关重要。极限科技的这一创新成果，有望推动相关行业的技术进步，为用户带来更加流畅和精准的搜索体验。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：[https://infinilabs.cn](https://infinilabs.cn)
INFINI Labs 产品更新 | Console 1.24.0 操作日志审计功能发布
liaosy 发表了文章 • 0 个评论 • 3273 次浏览 • 2024-04-28 12:51
INFINI Labs 产品又更新啦~，包括 Console，Gateway 1.24.0。本次各产品更新了很多亮点功能，如 Console 增加操作日志审计功能，优化数据探索字段统计，修复 Gateway 增加认证后添加实例失败等问题。以下是本次更新的详细说明。
INFINI Console v1.24.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验： <http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。
Console 本次更新如下：
Features
- 用户操作审计日志功能
- 新增告警规则克隆一键克隆功能，简化重复类型告警的创建
Bug fix
- 修复普通用户权限 403 问题
- 修复探针管理表格展开显示错位问题
Improvements
- 优化开发工具集群选择控件显示位置
- 优化数据探索查询控件显示宽度
- 优化数据探索字段统计功能
- 优化告警规则列表页搜索，支持远程搜索
- Discover 左侧字段聚合支持开关控制拉取本地或远程统计值
INFINI Gateway v1.24.0
INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。
Gateway 本次更新如下：
Improvements
- Refactoring http client tls config
- Write field routing to bulk metadata when field _routing exists in scrolled doc
Bug fix
- Fix(reshuffle filter): make sure queue config always have label type
- Fix rotate config usage
INFINI Framework
Improvements
- feat: allow to use default auth for agent’s auto enroll
- refactor: refactor func GetFieldCaps
- feat: register background job to clean up badger LSM tree
- fix: skip load missing wal
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- 下载地址： <https://www.infinilabs.cn/download>;
您还可以通过邮件联系我们：hello@infini.ltd
或者拨打我们的热线电话：(+86) 400-139-9200
欢迎加入 Discord 聊天室：<https://discord.gg/4tKTMkkvVX>;
也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.cn>;
回顾DTC2024大会——聚焦数据技术创新：极限科技创始人曾勇揭秘下一代纯实时搜索引擎 INFINI Pizza
liaosy 发表了文章 • 0 个评论 • 4470 次浏览 • 2024-04-13 21:54
2024年4月12日至13日，备受瞩目的第十三届“数据技术嘉年华”（DTC2024）在北京新云南皇冠假日酒店盛大开幕。本次大会由中国DBA联盟（ACDU）与墨天轮社区联合主办，以“智能·云原生·一体化——DB与AI协同创新，模型与架构融合发展”为主题，旨在推动数据技术的创新与发展，为从业者带来一场知识与技术的盛宴。
在为期两天的活动中，来自业界的80余位杰出技术领袖、学术精英、行业实践者以及生态布道者齐聚一堂，共同探讨数据技术的最新趋势、前沿应用与创新实践。与会者们分享了他们对于智能云原生和一体化发展的深刻见解，以及DB与AI如何协同创新，推动模型与架构的融合发展。
大会现场，极限科技创始人曾勇带来了令人瞩目的演讲，他详细介绍了下一代纯实时搜索引擎 INFINI Pizza。曾勇表示，随着大数据时代的到来，数据的实时处理与搜索成为了行业发展的重要方向。而 INFINI Pizza 正是为了满足这一需求而诞生的创新产品，它采用了先进的设计理念和架构实现，通过自有专利解决海量数据无限伸缩的需求，利用最新的算法和数据结构来充分释放现代硬件的威力，能够实现高效、准确的实时数据搜索能力，满足核心业务场景高并发低延迟的需求，为企业提供可靠稳定的实时搜索基础底座。
部分演讲内容
完整演讲内容请查看 [PPT](https://elasticsearch.cn/slides/323)。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
2024 DTC 数据技术嘉年华 | 我们在现场等你
searchkit 发表了文章 • 0 个评论 • 4124 次浏览 • 2024-04-03 18:42
导语
龙腾四海内，风云际会时。2024年4月12日至13日，北京新云南皇冠假日酒店将迎来一场盛会《第十三届数据技术嘉年华》。这是由墨天轮数据社区和中国数据库联盟（ACDU）携手主办的精彩盛事。本次嘉年华的主题是“智能·云原生·一体化——DB 与 AI 协同创新，模型与架构融合发展”将为您揭示数据技术的未来趋势。80余位行业领袖、技术精英、实践者和生态布道者将汇聚一堂，带来一场思想碰撞的盛宴。
极限科技（INFINI Labs）创始人 & CEO，Elasticsearch 中文社区（现搜索客）发起人兼社区主席曾勇先生应邀出席参加第十三届数据技术嘉年华盛会，并将于 4 月 13 日下午 15:00 在 NoSQL 数据库专题论坛上发表演讲，演讲主题：《下一代纯实时搜索引擎 Pizza》，为大家介绍当前最新搜索型数据库的行业发展趋势、前沿的技术方案、如何解决海量数据下的高并发低延迟实时检索需求等干货内容。
欢迎大家报名参会，共同探讨与交流。我在 DTC 现场等你！购票时输入优惠码(ZENGY)即可免费参会，数量有限，先到先得~
极限科技一直致力于推动数据技术的边界，不断突破创新。我们相信，通过与业内的顶级专家和领导者们的深入交流与合作，我们能够共同开创数据技术的美好未来。这场嘉年华将为我们提供一个珍贵的机会，与业界精英们面对面交流，共同探索数据技术的前沿领域。
大会议程
除了技术盛宴外，本次大会还为参会者准备了丰厚的大奖，其中主论坛的奖品更是高达上万元。此外，参会者们还可以前往各个厂商展台，领略产品魅力并感受最新最前沿的数据技术，完成集章任务后更有机会抽取千元大奖，相信一定能给您带来意想不到的惊喜！点击“[查看原文](https://www.modb.pro/dtc2024)”了解更多活动信息吧！
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.cn>;
INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区
liaosy 发表了文章 • 0 个评论 • 3097 次浏览 • 2023-12-30 16:25
INFINI Labs 产品又更新啦~，包括 Console v1.14.0，Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区，修复已知 Bug 等。以下是本次更新的详细说明。
INFINI Console v1.14.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验： <http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。
Console 本次更新如下：
Features
- 数据迁移支持 decimal 类型分区设置
- 数据迁移支持 number 类型均匀分区
Bug fix
- 修复告警恢复后，新周期内没有发送告警通知消息的问题
INFINI Gateway v1.21.0
INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。
Gateway 本次更新如下：
Bug fix
- fix log error when temp file was missing
INFINI Framework
INFINI Framework 是 INFINI Labs 各产品依赖的内部核心公共代码库。
Framework 本次更新如下：
- feat: support even partition
- feat: support nested object
- fix log error when temp file was missing
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- 下载地址： <https://www.infinilabs.com/download>;
您还可以通过邮件联系我们：hello@infini.ltd
或者拨打我们的热线电话：(+86) 400-139-9200
欢迎加入 Discord 聊天室：<https://discord.gg/4tKTMkkvVX>;
也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
极限科技（INFINI labs）荣获中国信通院大数据“星河”数据库标杆案例
liaosy 发表了文章 • 0 个评论 • 2737 次浏览 • 2023-12-16 17:50
12 月 6 日，由中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）共同组织的 2023 大数据“星河（Galaxy）”案例评选结果正式公示。极限数据（北京）有限公司（INFINI labs）与中移互联网有限公司、中移（苏州）软件技术有限公司移动云搜索数据库案例荣选为数据库标杆案例。
历经多环节严苛评审，从累计 706 份申报项目中脱颖而出，荣获数据库标杆案例。党中央、国务院高度重视大数据产业发展，推动实施国家大数据战略。为更好推进大数据技术产品及相关产业的繁荣，充分发挥数据作为生产要素的独特价值，大数据“星河（Galaxy）”案例征集活动迄今已成功举办 7 届，在业内具有较强的权威性和影响力。案例征集自 9 月启动以来，受到了业界广泛关注和踊跃报名，共收到申报项目 706 份，涵盖行业数据应用、数据安全、数据要素流通、数据资产管理、数据库、以及数据向善六大方向。
由极限数据（北京）有限公司（INFINI labs）联合中移互联网有限公司、中移（苏州）软件技术有限公司联合申报移动云搜索数据库案例,基于移动云数据库，首创多集群协同模式，同时通过优化 ES 批量写入及分拆重组技术，实现数量级下数据高性能存取，为云盘日志搜索分析和监控告警及通过语义分析的智能关联搜索奠定海量存储及高性能查询基；产出 PB 级数据高性能存取标准解决方案，助力云能力中心搜索引擎产品体系化能力沉淀；进一步升级泛在云存储底座能力，助力行业数字化转型，具有较高的经济价值和社会价值。
未来，极限科技将继续深耕大数据搜索领域，以创新为驱动，不断推动大数据搜索技术的进步和发展。同时，也将加强与各行业合作伙伴的深度合作，共同推动大数据搜索技术的进步和发展，为用户提供更优质、更全面的大数据解决方案。
INFINI Labs 产品更新 | Agent 全新重构，优化指标采集，支持集中配置管理，支持动态下发等功能
liaosy 发表了文章 • 0 个评论 • 2736 次浏览 • 2023-11-03 15:32
INFINI Labs 产品又更新啦~
本次更新主要有 Agent、Console、Loadgen 等产品，其中 Agent 进行全新重构升级，新版限制了 CPU 资源消耗，优化了内存，相比旧版内存使用率降低 10 倍，极大的降低了对宿主服务器资源占用的压力。同时 Agent 还优化了指标采集，支持集中配置管理，支持动态下发，支持一键安装和自动注册到 Console，可通过 Console 集中管理，并进行关联集群和节点。
以下是本次更新的详细说明。
INFINI Agent v0.7.0
INFINI Agent 是 INFINI Console 的一个可选探针组件，负责采集和上传集群指标和日志等信息，并可通过 Console 管理。Agent 支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。
探针 Agent 本次更新如下：
Features
- 限制探针资源消耗，限制 CPU 的使用
- 优化探针内存使用，10 倍降低
- 支持集中配置管理，支持动态下发
- 支持探针一键安装和自动注册
- 优化节点指标采集，仅采集本节点指标
Improvements
- 重构节点统计信息
- 删除未使用的文件
- 添加发现未知节点的 API
- 重构节点发现
- 重构新的 API
INFINI Console v1.10.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验： <http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。
探针管理
新版 Agent 安装好之后可在 Console 探针管理界面集中纳管，支持发现 ES 进程 和 疑似 ES 进程，并支持手动和自动批量关联到集群。如下图所示：
实例动态配置
Console 网关实例模块新增配置管理功能，支持实例配置内容查看和修改，修改后的配置支持自动加载生效，无需再去手动重启实例。如下图所示：
集群动态
集群动态界面进行了优化，新增了筛选过滤、时序图等。如下图所示：
Console 本次更新详细清单如下：
Features
- 重构探针注册流程
- 合并精简冗余接口
- 支持实例的配置查看和动态修改
- 允许准入和移除探针
- 监控新增分片级别指标
- 节点级别添加线程池相关指标
Bug fix
- 修复数据迁移/校验任务列表状态显示异常的问题
- 修复数据探索索引选择列表数据不完整的问题
- 修复开发工具集群列表找不到集群的问题
- 修复监控告警详情点击后查询的数据未包含告警时间点产生的数据问题
Improvements
- 优化数据迁移/校验任务剩余时间显示
- 数据探索查询数据支持自定超时时间
- 数据探索字段 TOP5 统计的总数调整为当前时间范围内的文档数
- 监控指标支持自定义时间桶的大小
- 数据检验任务添加导出文档数提示信息
- 优化集群，网关注册输入框，自动去除两边空格
- 完善探针探测未知 ES 节点的流程
- 优化探针安装脚本，新增远程配置服务器参数
- 优化集群动态界面，新增筛选过滤、时序图等
- 优化集群管理界面，新增筛选过滤
INFINI Loadgen v1.8.0
INFINI Loadgen 是一款支持 Easysearch、Elasticsearch 等搜索引擎压测工具，其特点轻量级无依赖、性能强劲、支持高并发、支持模板化参数随机、支持压测端均衡流量控制等。
Loadgen 本次更新如下：
Breaking changes
- 原 Loadrun 功能并入 Loadgen
- 测试请求、断言等使用新的 Loadgen DSL 语法来配置
下载地址：<https://release.infinilabs.com/loadgen>;
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- INFINI Gateway： <https://github.com/infinilabs/gateway/issues>;
- INFINI Console： <https://github.com/infinilabs/console/issues>;
- 下载地址： <https://www.infinilabs.com/download>;
您还可以通过邮件联系我们：hello@infini.ltd
或者拨打我们的热线电话：(+86) 400-139-9200
欢迎加入 Discord 聊天室：<https://discord.com/invite/4tKTMkkvVX>;
也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
INFINI Labs 产品更新 | Easysearch 优化字段压缩提升写入速度，Console 优化数据迁移和校验等功能
liaosy 发表了文章 • 0 个评论 • 2202 次浏览 • 2023-10-20 20:29
INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 增强 source_reuse 压缩功能，并大幅提升写入速度；Console 优化了数据迁移和校验功能，新增了通用的数据列表和下拉等标准组件，化繁为简，实现可复用。
以下是本次更新的详细说明。
INFINI Easysearch v1.6.1
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。
Easysearch 本次更新如下：
Features
- 增加 analysis-icu 插件
Bug fix
- 修复 JDK 17 及更高版本运行告警及异常
Improvements
- 安装脚本优化，避免脚本使用不当出现错误
- source_reuse 增加对 float，double，geo_point，half_float，ip 类型字段的压缩
- 优化启用 source_reuse 时的写入速度，压缩的字段越多，写入速度越快
INFINI Console v1.9.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验： <http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。
Console 本次更新如下：
Features
- 支持正常结束的数据校验任务重跑
- 添加后端服务关闭错误提示
- 新增统一的数据列表展示标准组件，基于该组件，配置相关字段即可快速渲染数据列表 UI
- 新增下拉列表标准组件，支持搜索、多选、排序、过滤、分组、翻页等
Bug fix
- 修复开发工具不支持 update API 的问题
- 修复数据校验任务重跑之后不一致文档数显示不对的问题
Improvements
- 数据校验 UI 优化
- 集群、节点、索引下拉列表 UI 优化
- 数据迁移进度条优化
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- INFINI Gateway： <https://github.com/infinilabs/gateway/issues>;
- INFINI Console： <https://github.com/infinilabs/console/issues>;
- 下载地址： <https://www.infinilabs.com/download>;
您还可以通过邮件联系我们：hello@infini.ltd
或者拨打我们的热线电话：(+86) 400-139-9200
欢迎加入 Discord 聊天室：<https://discord.gg/4tKTMkkvVX>;
也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
原文：<https://www.infinilabs.com/blo ... gt%3B
INFINI Labs 产品更新 | Gateway 支持基于 Kafka 的复制能力，发布 Helm Charts 部署方式
liaosy 发表了文章 • 0 个评论 • 2131 次浏览 • 2023-09-22 16:16
INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增了索引字段相关统计 API，优化了 source_reuse 提升压缩效率；Gateway 新增诸多新特性，如：支持基于 Kafka 的复制能力，添加可插拔的分布式锁实现，新增 CPU 资源限制等功能；Console 本次主要优化了数据迁移功能，迁移任务详情页新增了若干指标图和日志查看等功能。
欢迎大家下载使用和反馈。
INFINI Helm Charts v0.1.0
INFINI Helm Charts 是一组 Kubernetes 部署包管理工具。基于 Helm Charts，我们将 INFINI Labs 旗下相关产品预先配置好程序资源包，大大简化了部署流程。Github 仓库地址：<https://github.com/infinilabs/helm-charts>;。
Helm Charts 本次更新如下：
Features
- 添加 Console Chart
- 添加 Easysearch Chart，支持单节点以及多节点（节点角色可配置）部署
部署视频演示：
- [如何通过 Helm Chart 部署 Easysearch](https://www.bilibili.com/video/BV1Cp4y1w71F/)
- [如何通过 Helm Chart 部署 Console](https://www.bilibili.com/video/BV1qm4y157hu/)
博客文章：
- [如何通过 Helm Chart 部署 Easysearch](https://www.infinilabs.com/blo ... earch/)
INFINI Easysearch v1.6.0
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。
Easysearch 本次更新如下：
Features
- 新增 _field_usage_stats API，统计索引每个字段的访问次数
- 新增 _disk_usage API，可以分析指定索引每个字段的磁盘占用大小
- 增加 flattened 类型，将 JSON 对象作为字符串处理，可以减少嵌套 JSON 型的文档的大小
Improvements
- source_reuse 增加对 _source 中数字类型的值进行复用压缩，可进一步降低 _source 磁盘占用
- 改进 source_reuse 筛选字段的逻辑
INFINI Gateway v1.18.0
INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。
Gateway 本次更新如下：
Breaking changes
- 彻底移除了 request_body_truncate 和 response_body_truncate 过滤器
Features
- 支持基于 Kafka 的复制能力
- 在请求上下文中添加 _util.generate_uuid
- 在请求上下文中添加 _util.increment_id.BUCKET_NAME
- 在 Pipeline 配置中添加 singleton，防止多个 Pipeline 同时运行
- 添加可插拔的分布式锁实现
- 添加通用应用程序的 preference 配置
- 泛化队列抽象，重构磁盘队列，完善 Kafka 实现
- 添加 merge_to_bulk 处理器， 废弃 indexing_merge 处理器
- 添加 flow_replay 处理器，废弃 flow_runner 处理器
- 为复制场景添加 replication_correlation
- 添加 hash_mod 过滤器
- 在 bulk_response_process 过滤器中添加新参数
- 添加 request_reshuffle 过滤器
- 添加资源限制，允许设置最大 CPU 数或绑定亲和性
- 支持模板中的嵌套变量
- 添加 rewrite_to_bulk 过滤器
Bug fix
- 修复了 Pipeline 中重试延迟未生效的问题
- 修复了模板中不支持数字的问题
- 修复了队列选择器通过标签的问题，如果指定了多个标签，它们都应该一起匹配
Improvements
- 将所有模块名称转换为小写
- 在启动期间预取 Elasticsearch 元数据
- 添加应用程序范围的关闭信号
- 重构队列 API，支持 Kafka 管理
- 在 Badger 模块中添加 enabled
- 允许使用优先级注册模块/插件
- 统一队列的使用和初始化
- 优化 bulk_reshuffle 过滤器的性能，添加响应头 X-Bulk-Reshuffled
- 支持在 queue 过滤器中使用变量，允许输出最后生成的消息偏移量
INFINI Console v1.8.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验： <http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。
Console 本次更新如下：
Features
- 数据迁移任务支持自定义名称和添加标签
- 数据迁移任务详情页新增若干指标
- 数据迁移任务详情页新增查看日志
Improvements
- 数据迁移 UI 优化
- 优化监控报表、数据看板、数据探索的时间控件 UI
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- INFINI Gateway： <https://github.com/infinilabs/gateway/issues>;
- INFINI Console： <https://github.com/infinilabs/console/issues>;
- 下载地址： <https://www.infinilabs.com/download>;
您还可以通过邮件联系我们：hello@infini.ltd
或者拨打我们的热线电话：(+86) 400-139-9200
欢迎加入 Discord 聊天室：<https://discord.com/invite/4tKTMkkvVX>;
也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
INFINI Labs 产品更新 | Console 告警中心 UI 全新改版，新增 Dashboard 全屏模式等功能
liaosy 发表了文章 • 0 个评论 • 1558 次浏览 • 2023-09-04 16:11
本次 INFINI Labs 产品更新主要发布 Console v1.7.0，重点优化了 Console 告警中心和数据看板 Dashboard 可视化功能。详细介绍如下：
优化告警中心 UI
上个版本优化了告警渠道和通知，本版本主要对告警中心做了重点优化，重新设计了新的 UI 界面。进入告警中心，可以快速了解整个系统各集群告警状态，主要包括：
1、告警事件分类统计，支持点击过滤查询对应时间段的具体告警事件，便于管理员重点关注和处理高级别的告警事件；
2、告警事件数热力图，不同的色块表示当天告警数的密集程度，可以帮助我们快速发现告警数据的趋势规律以及不同时期的数据变化情况，进一步可帮助我们分析出集群的总体健康状态变化趋势。
3、告警事件列表，通过列表可以了解单个告警事件的信息，如事件级别、事件标题、告警持续时长、事件状态、触发时间等内容，如果你不想处理某个具体告警事件，可以进行忽略操作，避免再次收到告警通知。
告警中心 UI 界面如下所示：
通过告警中心进入告警事件详情，可以查看更多告警信息，包括：告警规则、告警内容（支持 Markdown）、告警规则执行记录、告警通知发送情况、事件触发统计图等，界面如下所示：
数据看板新增全屏功能
为了方便将数据看板 Dashboard 投影展示到电视墙或者 LED 大屏幕，我们新增了全屏功能，包含全屏展示当前 Dashboard，如果配置了多个 Dashboard，也支持全屏时自动滚动 Dashboard，无手动切换。效果如下所示：
全屏模式显示效果如下：
其他更新
除了以上主要功能优化，Console 本次更新其他功能清单如下：
Features
- 告警规则新增分类和标签属性
- 告警 UI 操作增加批量操作
- 数据看板新增全屏功能
- 数据看板新增日历热力图
- 数据看板组件多分组支持分层显示
Bug fix
- 修复数据迁移任务在大量子任务场景下，统计进度不对的问题
- 修复某些场景下集群重复注册的问题
Improvements
- 告警中心页面 UI 优化
- 告警详情页面 UI 优化
- 数据看板组件配置 UI 优化
- 数据看板组件数据源配置优化
- 网关管理-队列管理支持批量删除队列和消费者
关于 INFINI Console
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验： http://demo.infini.cloud (用户名/密码：readonly/readonly)。
也欢迎下载本地安装体验！（附：[Easysearch 与 Console 快速安装演示视频](https://www.bilibili.com/video ... 7f6eed)）
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- INFINI Gateway： <https://github.com/infinilabs/gateway/issues>;
- INFINI Console： <https://github.com/infinilabs/console/issues>;
- 下载地址： <https://www.infinilabs.com/download>;
您还可以通过邮件联系我们：hello@infini.ltd
或者拨打我们的热线电话：(+86) 400-139-9200
欢迎加入 Discord 聊天室：<https://discord.gg/4tKTMkkvVX>;
也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
INFINI Labs 产品更新 | Easysearch 支持 SQL 查询、Console 告警功能支持邮件等多渠道
liaosy 发表了文章 • 0 个评论 • 2107 次浏览 • 2023-08-11 11:55
INFINI Labs 产品又更新啦~。本次更新概要如下：Easysearch 新增 SQL 插件和JDBC 驱动，支持 SQL 查询，支持 SQL 常用函数等；Console 针对告警功能做了升级优化，新增了邮件渠道，支持自定义邮件服务器配置，以及支持飞书、钉钉、企业微信、Discord、Slack 等多渠道 Webhook 发送告警通知，优化平台概览 UI 界面、展示效果更简单友好，提高了用户体验。欢迎大家下载使用。
INFINI Easysearch v1.5.0
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。
Easysearch 本次更新如下：
Features
- 增加 SQL 插件，支持使用 REST 接口和 JDBC 进行 SQL 查询
- 支持 SQL 常用函数、包括数学函数、三角函数、日期函数、字符串函数、聚合函数等
- SQL 语句可以嵌入全文检索
- 增加 JDBC 驱动，可以通过用户密码或证书连接到集群
Bug fix
- 修复 kNN 插件的配置项导致非 kNN 索引的 setting 不能正常解析的 Bug
INFINI Console v1.6.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。Console 在线体验：<http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。
Console 本次主要更新如下：
1、告警功能重磅更新
该版本主要更新告警规则和渠道，Console 内置了常用的告警规则和渠道，支持邮件、飞书、钉钉、企业微信、Slack、Discord 等渠道，下载安装部署后仅需在 Console 界面菜单 [告警管理->告警渠道] 配置相关渠道的 Webhook 链接或者邮件服务器并启用渠道开关，无需做额外操作即可接收告警通知消息，我们的目标是做到开箱即用，简单实用。
1.1 支持邮件渠道
通过配置邮件渠道，设置相关收件人、邮件内容模式（支持纯文本与 HTML）等参数，并将邮件渠道绑定到告警规则，当告警事件触发时，告警消息将被发送到相关收件人邮箱。通过增加邮件渠道有效提升了告警消息触达能力，让用户第一时间接受和处理问题。邮件渠道配置界面如下图所示：
1.2 全面优化告警通知效果
本次更新 Console 默认内置了告警渠道通知消息内容模板，通过系统环境变量及告警上下文变量组合成消息内容，用户无需修改即可复用，也可以自定义修改。各渠道通知消息效果如下图所示：
1.3 告警功能演示视频
请查看 [演示视频](https://www.bilibili.com/video/BV1iu411n7MY/)
2、优化平台概览 UI、新界面更简单友好
本次更新优化了平台概览中的集群、节点、索引、主机列表的展示效果，统一风格，突出关键指标显示，提供了卡片和表格两种展示模式，可以按需切换查看。UI 效果如下所示：
Console 详细更新如下：
Features
- 优化平台概览 UI 界面、支持卡片和表格样式切换展示
- 告警规则新增告警恢复通知配置
- 告警渠道新增邮件通知
- 告警规则和告警渠道新增导入导出
- 新增邮件服务器
Bug fix
- 修复数据探索切换视图排序失效的问题
Improvements
- 调整告警规则渠道配置
- 调整饼图样式
INFINI Agent v0.6.1
INFINI Agent 是 INFINI Console 的一个可选探针组件，负责采集和上传集群指标和日志等信息，并可通过 Console 管理。Agent 支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。
Agent 本次更新如下：
Bug fix
- 修复发现节点进程信息时获取 ES 节点端口不对的问题
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- INFINI Gateway： <https://github.com/infinilabs/gateway/issues>;
- INFINI Console： <https://github.com/infinilabs/console/issues>;
- 下载地址： <https://www.infinilabs.com/download>;
您还可以通过邮件联系我们：hello@infini.ltd
或者拨打我们的热线电话：(+86) 400-139-9200
欢迎加入 Discord 聊天室：<https://discord.com/invite/4tKTMkkvVX>;
也欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群一起讨论交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
INFINI Labs 产品更新 | Easysearch 新增分词插件、Gateway 支持邮件发送等功能
liaosy 发表了文章 • 0 个评论 • 1954 次浏览 • 2023-07-21 17:28
INFINI Labs 产品又更新啦~，本次更新概要如下：Easysearch 新增了分词插件、优化了生命周期管理功能等；Gateway 新增 smtp 过滤器来支持邮件的发送，支持自动跳过因为异常关闭而损坏的磁盘队列文件等；Console 新增熔断器监控指标、新增矩形树图(Treemap)、优化了探针 Agent 指标采集和集群自动关联操作等。欢迎大家下载体验。
INFINI Easysearch v1.4.0
INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本。Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。
Easysearch 本次更新如下：
Features
- 索引生命周期管理增加 wait_for_snapshot 操作，在删除索引之前，等待执行指定的快照管理策略，这样可以确保已删除索引的快照可用
- 增加 analysis-hanlp 分词插件
- 增加 jieba 分词插件
Bug fix
- 修复启用 index.source_reuse 时，对复杂多层 json 的 source 字段 解析不正确的 Bug
Improvements
- 更新索引生命周期管理 api 文档，增加策略应用和更新说明，增加 wait_for_snapshot 说明
- 执行
initialize.sh命令时增加初始化确认提示，是否将 admin 密码记录日志
INFINI Gateway v1.17.0
INFINI Gateway 是一个面向搜索场景的高性能数据网关，所有请求都经过网关处理后再转发到后端的搜索业务集群。基于 INFINI Gateway 可以实现索引级别的限速限流、常见查询的缓存加速、查询请求的审计、查询结果的动态修改等等。
Gateway 本次更新如下：
Features
- 新增 consumer Processor 来标准化订阅消息队列
- 新增 smtp 过滤器来支持邮件的发送
Bug fix
- 支持自动跳过因为异常关闭而损坏的磁盘队列文件
INFINI Console v1.4.0
INFINI Console 是一款非常轻量级的多集群、跨版本的搜索基础设施统一管控平台。通过对流行的搜索引擎基础设施进行跨版本、多集群的集中纳管， 企业可以快速方便的统一管理企业内部的不同版本的多套搜索集群。
Console 在线体验： <http://demo.infini.cloud>; (用户名/密码：readonly/readonly)。
Console 本次更新如下：
Features
- 新增熔断器监控指标
- 网关队列管理支持多选删除消费者
- 数据看板新增组件矩形树图
Bug fix
- 修复开发工具智能提示兼容性问题
- 修复探针列表状态显示异常的问题
- 修复探针列表分页不生效的问题
- 修复数据看板 统计函数显示不对的问题
- 修复探针下发采集指标配置重复的问题
- 修复数据看板设置过滤条件不生效的问题
- 修复主机列表探针状态不对的问题
- 修复网关管理删除队列不成功的问题
- 修复数据探索当前集群没索引时跳转的问题
- 修复数据看板编辑状态下点击事件的问题
Improvements
- 探针进程关联支持通过选择集群自动关联，简化操作
- 探针列表支持排序
- 探针支持向上滚动查看节点日志
- 采集监控指标添加 cluster_uuid 信息
- 数据看板支持配置指标排序
INFINI Agent v0.6.0
INFINI Agent 是 INFINI Console 的一个可选探针组件，负责采集和上传集群指标和日志等信息，并可通过 Console 管理。Agent 支持主流操作系统和平台，安装包轻量且无任何外部依赖，可以快速方便地安装。
Agent 本次更新如下：
Features
- 采集监控指标添加 cluster_uuid 信息
Improvements
- 修复发现节点进程信息时获取不到最新集群配置的问题
期待反馈
欢迎下载体验使用，如果您在使用过程中遇到如何疑问或者问题，欢迎前往 INFINI Labs Github（<https://github.com/infinilabs>;） 中的对应项目中提交 Feature Request 或提交 Bug。
- INFINI Gateway： <https://github.com/infinilabs/gateway/issues>;
- INFINI Console： <https://github.com/infinilabs/console/issues>;
- 下载地址： <https://www.infinilabs.com/download>;
或者通过 Discord 渠道加入聊天室：<https://discord.com/invite/tnZ8S5vQ>;
欢迎大家微信扫码添加小助手（INFINI-Labs），加入用户群讨论，或者扫码加入我们的知识星球一起学习交流。
关于极限科技（INFINI Labs）
极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。
官网：<https://www.infinilabs.com>;
【INFINI Workshop 上海站】7 月 27 日一起动手实验玩转 Easysearch
liaosy 发表了文章 • 1 个评论 • 2292 次浏览 • 2023-07-07 16:30
活动时间：2023-07-27 13:30～17:30
活动地点：上海静安区武宁南路1号 WeWork 越商大厦 3 楼 3A 会议室
（注意：活动地址已更新，已报名小伙伴无需重新报名。）
分享议题
• Easysearch 总体介绍及搭建实战
• 基于 INFINI Console 实现跨版本、跨引擎统一管控
• Elasticsearch -> Easysearch 在线迁移实操
参会提示
• 请务必自备电脑（Windows 系统环境请提前安装好 Linux 虚拟机）
• 请提前在 INFINI Labs 官网下载对应平台最新安装包（INFINI Easysearch、INFINI Gateway、INFINI Console）
• 下载地址：https://www.infinilabs.com/download
名额有限，对 ES 国产化感兴趣的朋友们速度报名（扫描海报中的二维码或者点击 链接 即可免费报名）。
如有任何疑问可添加 INFINI Labs 小助手（微信号: INFINI-Labs）进行联系。
