1. 引言：数据库的定义与作用

1.1 数据库的定义

数据库是一个专门用于组织、存储和管理数据的系统（Database System，简称 DBS），它以高效的方式为用户提供数据的存储、访问和管理功能。数据库的定义涵盖了各种数据模型和结构，主要可以分为关系型数据库（RDBMS）和非关系型数据库（NoSQL）两大类。

• 关系型数据库：以二维表格的形式组织数据，通过主键、外键来维持表与表之间的关系。这种数据库模型擅长处理结构化数据，并且通过 SQL（Structured Query Language）来管理数据。其最大的优势在于数据的一致性和完整性，但在处理大量非结构化数据时可能表现不佳。

• 非关系型数据库：也称为 NoSQL 数据库，适合存储和处理非结构化或半结构化数据，如文档、键值对、图形和列族等。NoSQL 数据库通常具有更高的灵活性和扩展性，尤其适合处理大规模分布式数据集和实时数据处理任务。

1.2 数据库在现代计算中的作用

在现代计算环境中，数据库是信息系统的核心。无论是互联网企业，还是传统行业的数字化转型，都依赖于强大的数据库系统来支撑各种应用程序的运行。数据库的作用包括：

• 数据存储：数据库能够安全地存储大规模数据，无论是结构化数据如表格，还是非结构化数据如图像和文本。

• 数据管理：数据库提供了复杂的查询、排序、更新、删除等操作，确保数据可以被有效地管理和利用。

• 数据分析：借助数据库中的索引和搜索功能，用户可以对海量数据进行快速检索和分析，从而支持实时决策和业务优化。

• 数据安全：数据库系统通常包含访问控制、加密、备份和恢复等功能，保护数据的机密性、完整性和可用性。

数据库已经成为现代企业运作的基石，为电子商务、社交媒体、金融服务、健康医疗等领域提供了不可或缺的数据支持。

2. 数据库的演变

2.1 关系型数据库的崛起

数据库的发展主要历经三个阶段，前关系型、关系型和后关系型。

20 世纪 70 年代，埃德加·科德提出了关系型数据库模型的概念，这一创新彻底改变了数据管理的方式。关系型数据库以关系代数为理论基础，将数据组织为多个相互关联的二维表格，这种模型极大简化了数据存储与检索的复杂性。

• 表格结构：数据以表的形式存储，每个表由行和列组成，行代表记录，列代表字段。表与表之间通过主键和外键来建立关系。

• SQL 的引入：为了管理关系型数据库，科德引入了结构化查询语言（SQL），这是一种强大的数据操作语言，允许用户通过简单的语句执行复杂的查询操作。

• 数据的一致性和完整性：关系型数据库通过事务处理机制（ACID 特性：原子性、一致性、隔离性和持久性），确保数据在并发操作和系统故障情况下保持一致性和完整性。

由于其高效的数据管理能力和强大的查询功能，关系型数据库迅速成为企业级应用的主流选择，在银行、保险、制造业等领域得到了广泛应用。

2.2 关系型数据库的局限性

随着信息技术的飞速发展，数据量呈现爆炸式增长，数据类型也日益多样化，这使得关系型数据库逐渐暴露出其局限性。

• 扩展性不足：关系型数据库通常依赖垂直扩展（增加单个服务器的硬件能力）来提升性能，但这种方式在面对海量数据时成本高昂且效率有限。而对于需要分布式处理的大规模数据集，关系型数据库的横向扩展能力（增加服务器节点）较弱，难以满足分布式系统的需求。

• 非结构化数据处理困难：关系型数据库擅长处理结构化数据，但对于文本、图像、视频等非结构化数据的处理效率较低，需要额外的处理步骤和存储空间。这种局限性使其在面对现代大数据环境时显得捉襟见肘。

• 灵活性不足：关系型数据库的表结构和模式是预定义的，这意味着在数据模型发生变化时，修改数据库结构的成本和风险都较高，影响了系统的灵活性和适应性。

这些局限性推动了新型数据库技术的发展，尤其是 NoSQL 数据库的兴起，它们能够更好地处理分布式环境下的大规模非结构化数据。

3. 搜索型数据库的兴起

3.1 非结构化数据处理的需求

随着互联网和信息技术的发展，数据的类型和规模发生了巨大变化。除了传统的结构化数据，非结构化数据（如文本、图像、音频、视频等）也在迅速增长。这类数据并不适合存储在传统的关系型数据库中，因为它们无法以固定的表格形式进行有效的组织和管理。

在这种背景下，企业和组织对非结构化数据的处理和分析需求日益强烈。例如，社交媒体平台需要实时分析大量用户生成的文本内容，电子商务网站需要对用户的搜索和购买历史进行个性化推荐。这些需求促使数据库技术朝着更灵活和高效的方向发展。

为了应对这一挑战，NoSQL 数据库应运而生。NoSQL 数据库不依赖于固定的表格结构，而是支持多种数据模型，如文档、键值对、列族和图数据库等。它们在处理大规模分布式数据和非结构化数据时表现优异，尤其是在扩展性和灵活性方面。

然而，随着搜索需求的日益复杂，简单的 NoSQL 数据库已无法满足企业对快速全文检索、实时分析以及复杂查询的需求。这时，搜索型数据库逐渐成为焦点。它们不仅能够处理大规模数据，还能在数秒内从庞大的数据集中检索出相关信息，大大提升了数据的利用价值。

3.2 搜索型数据库的定义与特点

搜索型数据库是一类专门设计用于处理和检索大量非结构化数据的数据库系统。与传统的关系型数据库不同，搜索型数据库的主要功能是快速、准确地进行全文检索和复杂查询，尤其是在处理文本数据时表现出色。

核心技术与特点：

• 倒排索引：这是搜索型数据库的核心技术，它通过为每个单词建立索引来加速查询过程。当用户输入查询时，系统可以直接通过索引定位相关文档，而无需逐个扫描整个数据库。

• 分布式架构：搜索型数据库通常采用分布式架构，以便能够处理大规模的数据集。它们将数据分布在多个节点上，确保即使在高并发或大数据量的情况下，系统仍然能够高效运行。

• 实时数据处理：现代搜索型数据库不仅支持批量数据处理，还能处理实时数据，这使得它们非常适合用于日志管理、监控和数据流分析等场景。

• 可扩展性：由于采用了分布式设计，搜索型数据库可以通过增加节点轻松扩展，从而处理日益增长的数据量和查询需求。

通过这些特点，搜索型数据库已经成为处理海量非结构化数据的关键工具，为企业和组织提供了强大的数据检索和分析能力。

4. Elasticsearch：革命性的搜索型数据库

4.1 Elasticsearch 的背景与发展

Elasticsearch 是由 Shay Banon 于 2010 年基于开源搜索引擎库 Apache Lucene 开发的。它的出现，标志着搜索型数据库进入了一个新的时代。Elasticsearch 旨在为现代数据驱动的应用程序提供高效、灵活的搜索和分析功能。由于其强大的功能和易用性，Elasticsearch 迅速在全球范围内获得了广泛的采用。

Elasticsearch 的诞生源于对大规模数据处理和全文检索的需求。随着互联网的快速发展，企业需要一种能够高效处理和搜索海量数据的工具，而传统的关系型数据库和早期的 NoSQL 解决方案无法满足这一需求。Elasticsearch 在此背景下应运而生，成为解决这些挑战的理想选择。

4.2 核心特性与架构

Elasticsearch 之所以能够在众多搜索型数据库中脱颖而出，主要得益于其强大的核心特性和先进的架构设计。

核心特性：

• 分布式架构：Elasticsearch 的分布式设计使其能够在多个节点上分片存储数据，从而实现高可用性和可扩展性。每个分片都是一个独立的搜索引擎，可以在多个节点之间进行复制，以确保数据的冗余和安全。

• RESTful API：Elasticsearch 提供了一个易于使用的 RESTful API，开发者可以通过简单的 HTTP 请求与其进行交互。这种设计使得 Elasticsearch 可以轻松集成到各种应用程序中。

• 实时索引和搜索：Elasticsearch 支持实时数据索引，这意味着数据在写入后几乎可以立即被搜索到。这一特性使其非常适合用于日志管理、监控和实时分析等需要快速响应的场景。

• 灵活的查询语言：Elasticsearch 提供了功能强大的查询 DSL（Domain Specific Language），允许用户进行复杂的查询操作，如布尔查询、范围查询、模糊查询等。它还支持聚合查询，使用户能够对数据进行高级分析。

架构设计：

Elasticsearch 的架构基于分片（Shard）和副本（Replica）的概念。每个索引被划分为若干个分片，每个分片可以有一个或多个副本。这种设计不仅提高了数据的可用性和容错性，还使得系统能够轻松处理大规模数据集。

此外，Elasticsearch 还使用了 Apache Lucene 作为底层搜索库，充分利用了 Lucene 强大的全文检索能力和索引机制。这使得 Elasticsearch 在处理复杂搜索任务时表现得非常高效。

4.3 典型应用场景

Elasticsearch 在多个行业和场景中得到了广泛应用，其灵活性和强大的搜索能力使其成为许多企业的首选解决方案。

• 日志和基础设施监控：在 IT 运维中，Elasticsearch 常用于收集和分析系统日志、应用日志和安全日志。通过与 Kibana（一个开源的分析和可视化平台）结合，用户可以实时监控系统状态，并快速识别和解决问题。

• 企业搜索：Elasticsearch 被广泛应用于企业内部文档和数据的搜索管理。无论是知识管理系统还是文档管理平台，Elasticsearch 都能够提供高效的全文检索和信息聚合能力，帮助企业提升工作效率。

• 电子商务搜索：在电子商务领域，Elasticsearch 用于实现快速、精确的产品搜索和推荐系统。它不仅可以处理大量产品数据，还能根据用户行为提供个性化推荐，提升用户体验和转化率。

5. Elasticsearch 的挑战与发展

5.1 扩展性问题

尽管 Elasticsearch 在处理大规模数据方面表现优异，但在面对极端大规模的应用场景时，其扩展性仍然是一个挑战。由于分布式系统的复杂性，网络分区、节点故障等问题可能导致数据不一致，甚至影响系统的整体性能。

为了应对这些挑战，开发者们引入了多种扩展性优化措施，例如改进分片管理策略、优化分布式查询算法等。这些改进旨在提高 Elasticsearch 在大规模集群中的稳定性和效率，但随着数据量的持续增长，扩展性问题仍然是一个需要持续关注和解决的问题。

5.2 性能优化

随着使用 Elasticsearch 的企业和应用越来越多，性能优化成为了一个关键议题。为了保证 Elasticsearch 在大规模数据处理中的高效性，开发者们采取了多种优化手段，包括改进索引策略、调整缓存机制、优化查询执行路径等。

此外，为了满足不同场景下的性能需求，Elasticsearch 还引入了多种配置选项，允许用户根据具体应用场景进行调整。例如，通过调整分片数量和副本数，用户可以在性能和数据冗余之间找到平衡。

5.3 安全与合规

随着全球数据隐私和安全法律法规的日益严格，Elasticsearch 在安全和合规性方面的挑战也日益凸显。企业在使用 Elasticsearch 时，必须确保数据的安全性和合规性，尤其是在处理敏感数据时。

为了解决这些问题，Elasticsearch 提供了一系列安全功能，如访问控制、数据加密、审计日志等。此外，开发者们还可以通过配置和插件，实现更高级别的安全措施，以满足特定行业和地区的合规要求。

但是，Elasticsearch 的安全性和合规性仍然是一个需要不断优化的领域。近几年 ES 数据泄露事件频发，很多 ES 库连基本的安全认证都没有，导致很多企业直接把 ES 当做存储库，数据泄露后直接被黑客利用。

结合今年 OpenAi 停止对中国内地和香港地区提供 API 服务可以看出，依赖国外技术可能带来技术封锁风险，一旦国外企业因政治或经济原因停止服务，中国企业的业务连续性和数据安全性将受到威胁。

6. 国内搜索型数据库的发展

6.1 中国搜索数据库的发展背景

随着国家对科技自主创新的重视，中国的数据库技术在过去十年中取得了显著进展。尤其是在中美技术竞争加剧的背景下，减少对国外技术的依赖成为了中国科技发展的战略目标。这种背景促使了国产数据库的加速发展，特别是在搜索型数据库领域。众多中国企业开始自主研发具备核心技术的数据库产品，试图在这一领域实现突破。

政策推动与市场需求

中国政府出台了一系列政策，鼓励本土企业在关键技术领域实现自主可控。这些政策不仅为企业提供了资金支持和政策优惠，还明确了在一些关键行业中优先使用国产软件的导向。同时，随着中国企业在互联网、电子商务、智能制造等领域的快速发展，对高效搜索和数据处理的需求愈发迫切，这也成为国产搜索型数据库发展的强大推动力。

6.2 Easysearch 的兴起

在此背景下，Easysearch 作为中国本土开发的搜索型数据库脱颖而出。Easysearch 的设计目标是为中国企业提供一个高效、可靠且适应本土需求的搜索与数据分析解决方案。与国外的 Elasticsearch 相似，Easysearch 基于分布式架构和倒排索引技术，能够处理大规模数据，并支持复杂的全文搜索和分析。

然而，Easysearch 并非只是简单的模仿或复制 Elasticsearch。它在多个方面进行了本地化优化，以更好地适应中国市场的独特需求。例如，在处理中文文本时，Easysearch 针对中文的特殊语法结构进行了优化，增强了中文分词的准确性和查询效率。此外，Easysearch 还在性能和可扩展性上进行了改进，使其能够更好地应对大规模企业级应用的需求。

不仅如此，Easysearch 还是国内首个通过搜索型数据库产品能力测试的国产搜索型数据库。自 2023 年 10 月起，Easysearch 凭借其卓越的性能和深度的本土化优化，成功在墨天轮搜索型数据库排行榜上长期占据榜首位置。这一成绩不仅体现了 Easysearch 在技术层面的突破，也反映了市场对其产品的高度认可。在短短几个月的时间里，Easysearch 以其稳定的表现和不断创新的步伐，赢得了众多企业用户的信赖。

6.3 Easysearch 与 Elasticsearch 的对比

虽然 Easysearch 与 Elasticsearch 在架构和基本功能上有很多相似之处，但它们在具体的实现和应用场景中表现出了一些显著的差异。

• 中文文本处理：Elasticsearch 虽然支持多语言环境，但其在中文处理上的表现并不如 Easysearch 那么出色。Easysearch 针对中文的语法和分词进行了专门的优化，尤其是在处理同义词、短语匹配和模糊查询时，能够提供更高的准确性。

• 本地化支持：Easysearch 提供了更强的本地化支持，包括符合中国法律法规的安全和合规性功能。此外，它还集成了许多国内常用的第三方系统，简化了企业的集成和部署过程。

• 性能优化：在处理大规模数据集时，Easysearch 通过定制化的优化策略，如特定的索引压缩技术和内存管理方案，提升了系统的响应速度和资源利用率。这使得它在某些特定应用场景下，能够提供比 Elasticsearch 更高的性能和稳定性。

• 安全可靠：Easysearch 提供了多种安全和合规性功能，如 TLS 加密、磁盘加密等。此外，它还支持多种第三方认证方式，如 LDAP、AD

6.4 国产搜索型数据库的未来

根据第一新声研究，2022-2027 年中国数据库整体市场将维持增长态势 ，2024 年整体市场规模预计为 543.1 亿，到 2027 年将增长至 1183.8 亿，2022-2027 年复合增长率达到 30.67%。

随着全球对数据安全和本地化需求的不断增加，国产搜索型数据库在未来有望占据更大的市场份额。

Easysearch 及其他国产数据库将进一步提升技术水平，持续创新，以满足不断变化的市场需求。

全球化与竞争力

虽然当前 Easysearch 主要面向国内市场，但其潜在的全球化前景不容小觑。通过持续的技术创新和市场拓展，Easysearch 及其他国产数据库有望在全球范围内与国际巨头展开竞争，特别是在亚非拉等新兴市场。这不仅有助于提升中国数据库技术的国际影响力，也将推动全球数据库产业的多样化发展。

7. 结论

通过对搜索型数据库的发展历程和未来趋势的探讨，可以看出，随着大数据和人工智能技术的不断进步，搜索型数据库将在更多领域发挥重要作用。Elasticsearch 作为全球领先的搜索型数据库，其开创性的架构和功能为行业树立了标杆。而以 Easysearch 为代表的国产数据库，也正在迅速崛起，展现出强大的竞争力。未来，搜索型数据库将继续朝着多模态、智能化、本地化的方向发展，为全球信息技术的发展提供更加坚实的基础。

参考资料

1. 搜索引擎数据库
2. 搜索型数据库的技术发展历程与趋势前瞻
3. 数据库行业分析：国产数据库百花齐放，搜索引擎数据库风口已至
4. 浅谈搜索引擎和传统数据库（ES,solr）
5. 什么是 Elasticsearch？
6. INFINI Labs 产品更新 | 重磅推出 Easysearch v1.1
7. 墨天轮中国数据库流行度排行
8. 喜讯！INFINI Easysearch 在墨天轮搜索型数据库排名中荣登榜首
9. 《2024 年中国数据库市场研究报告》重磅发布 | 第一新声
10. 国内首家 | 极限科技率先完成信通院搜索型数据库行业标准测试
11. 危险！超 9000 个 Elasticsearch 集群暴露在公网上
12. 从 OpenAI 停服看中国市场：国产替代崛起的机遇与挑战
13. 什么是数据库
14. 数据库发展史

关于 Easysearch 有奖征文活动

无论你是 Easysearch 的老用户，还是第一次听说这个名字，只要你对 INFINI Labs 旗下的 Easysearch 产品感兴趣，或者是希望了解 Easysearch，都可以参加这次活动。

详情查看：Easysearch 征文活动

作者：李家兴

原文：https://infinilabs.cn/blog/2024/from-elasticsearch-to-easysearch-the-rise-and-future-prospects-of-domestic-search-databases/

过去一年，在全球 AI 浪潮和国家数据局成立的推动下，数据库产业变革不断、热闹非凡。2024 年，站在中国数字经济产业升级和数据要素市场化建设的时代交汇点上，“2024 可信数据库发展大会” 将于 2024 年 7 月 16-17 日在北京悠唐皇冠假日酒店隆重召开，大会将以 “自主、创新、引领” 为主题，以期进一步推动全球数据库产业进步，共同开创可信数据库行业的新时代。

届时，极限科技（INFINI Labs）创始人兼 CEO 曾勇 将于 7 月 17 日下午在 搜索与分析型数据库＆多模数据库分论坛 发表主题演讲 《下一代万亿级实时搜索引擎的设计与思考》 ，主要介绍下一代纯实时搜索新引擎 INFINI Pizza 的设计思路与软件架构的思考以及复杂场景下的搜索需求和挑战，敬请期待！

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

概述

随着数字科技的飞速发展和信息量的爆炸性增长，搜索引擎已成为我们获取信息的首选途径之一，典型的代表厂商如 Google。然而，随着用户需求的不断演变，传统的搜索技术已经无法满足人们对信息的实时性、个性化和多样性的需求。

在企业内部，这种需求更加显著。随着企业数字化转型的持续深化，非结构化数据正日益成为各类组织数据增长的主要来源，也是数据体系中至关重要的组成部分，蕴含着巨大的价值。如何高效地存储和利用非结构化数据的重要性也日益凸显。企业需要更高效地管理和检索内部的海量数据，以支持业务决策和运营需求。

据 IDC 数据预计，到 2025 年，80%的数据将是非结构化数据；而根据 Gartner 的数据显示，从 2019 年到 2024 年，非结构化数据容量预计将增加两倍。然而，目前非结构化数据面临着表现形式多样、管理复杂性高、价值挖掘难度大等诸多挑战。传统的数据库系统往往无法满足企业对实时性和多样性的搜索需求，为了解决这些挑战，以自动分词、倒排索引、相关度计算、向量检索引擎等技术为核心构建的搜索型数据库应运而生。这些数据库自上世纪 90 年代诞生以来不断发展演进，正在成为数据库领域中不可或缺的一个重要分支。

什么是搜索型数据库？

搜索型数据库早期又称全文数据库，或者企业搜索引擎，是一种专门用于存储和管理大规模文本数据，并支持高效的文本搜索和信息检索的数据库系统，不过随着技术不断发展和应用场景日益丰富，目前搜索型数据库不仅仅可以处理长文本数据，也可以处理常见的数值、日期等结构化数据，IP、地理位置信息、图片、音视频等非结构化数据，搜索型数据库的应用范畴不断拓展，正在由支撑业务系统检索加速、IT 运维可观测性、聚合查询分析等向多场景、多模态数据搜索方向发展。

典型的搜索数据库一般具有以下特点：

1. 灵活的索引能力：搜索数据库能够处理多种类型的数据，包括文本、图像、音频、视频等非结构化数据。它们采用自动分词、倒排索引等技术，能够高效地处理不同格式和类型的数据，提供灵活的搜索和检索功能。
2. 高效的查询性能：搜索数据库具有高效的查询处理能力，能够快速索引和检索大规模的数据。借助优化的索引结构和查询算法，搜索数据库能够在短时间内准确地返回与查询相关的结果，提高用户的搜索效率，常用于解决关系型数据库的高并发检索需求。
3. 支持复杂的搜索功能：搜索数据库提供多样化的搜索功能，包括全文检索、模糊搜索、精确搜索、范围搜索、向量搜索、地理信息检索等。用户可以根据不同的需求和场景，灵活地选择和组合不同的搜索功能，以获取符合期望的搜索结果。
4. 高性能和可扩展性：搜索数据库具有高性能和可扩展性的特点，能够处理大规模数据和高并发访问。它们采用分布式架构和并行计算技术，实现了水平扩展，能够满足不断增长的数据量和用户访问量的需求。

综上所述，搜索数据库具有处理非结构化数据、实时搜索和更新、多样化的搜索功能、个性化推荐和智能搜索、高性能和可扩展性、全面的搜索结果展示等特点，是处理大规模数据和提供高效搜索服务的重要工具。

搜索型数据库的应用场景

搜索型数据库在各行各业都有广泛的应用，以下是一些典型的应用场景：

1. 零售和电商：在零售和电商行业，搜索型数据库被广泛应用于产品搜索和推荐系统中。通过搜索功能，顾客可以轻松查找所需商品，而个性化推荐系统则可以根据用户的搜索历史和行为习惯推荐相关的产品，提高购物体验和交易转化率。
2. 医疗保健：在医疗保健行业，搜索型数据库被用于医学文献检索、疾病诊断和药物搜索等方面。医生和研究人员可以利用搜索功能找到相关的医学文献和研究成果，帮助诊断疾病和制定治疗方案。
3. 金融服务：在金融服务行业，搜索型数据库被用于金融数据检索、市场分析和投资决策等方面。投资者可以通过搜索功能查找相关的金融数据和市场资讯，帮助他们做出更加准确的投资决策。
4. 制造业：在制造业中，搜索型数据库被用于生产过程监控、质量控制和故障诊断等方面。工程师可以利用搜索功能查找相关的生产数据和技术资料，帮助他们解决生产中的问题和挑战。
5. 媒体和娱乐：在媒体和娱乐行业，搜索型数据库被用于内容检索、版权管理和用户推荐等方面。用户可以通过搜索功能查找感兴趣的新闻、音乐和视频等内容，而个性化推荐系统则可以根据用户的搜索历史和偏好推荐相关的内容。
6. 教育和培训：在教育和培训行业，搜索型数据库被用于学习资源检索、课程管理和学习分析等方面。学生和教师可以利用搜索功能查找相关的学习资源和课程内容，而学习分析系统则可以分析学生的搜索行为和学习表现，为教学提供参考和支持。
7. IT 运维可观测性：通过搜索型数据库，可以实时监控系统的运行状况、性能指标和日志数据，帮助运维团队及时发现和解决系统故障、性能问题和异常情况，确保系统的稳定运行。
8. 安全监测和威胁检测：利用搜索型数据库对系统的安全日志进行审计和监控，监测用户的访问行为和系统操作，及时发现异常行为和安全事件。同时，搜索型数据库还可以与威胁情报数据集成，对内部日志数据进行关联分析，快速识别并应对各种安全威胁和攻击行为，保障系统和数据的安全。

综上所述，搜索型数据库在各行各业都发挥着重要作用，数据规模从 GB 到 PB 不等，体现在生活中的方方面面，为用户提供了高效、准确和个性化的信息搜索和检索服务，推动了各行业的发展和进步。随着搜索技术的不断创新和发展，搜索型数据库在各行业中的应用将会越来越广泛，并持续为用户带来更加便捷和智能的搜索体验。

搜索型数据库的发展历程

搜索型数据库的发展历程可以概括如下四个阶段：

1. 起步阶段（1990 年代）：搜索数据库的雏形开始于上世纪 90 年代，当时以全文检索为主要技术手段，最初用于文档检索和网络搜索。典型代表包括 AltaVista、Excite 等。
2. 技术突破（2000 年代）：随着互联网的快速发展，搜索数据库开始应用于更多领域，如电子商务、社交网络等。Lucene、Sphinx 等开源搜索引擎的出现推动了搜索技术的进步。
3. 商业化发展（2010 年代）：搜索数据库进入商业化阶段，以 Elasticsearch 等为代表的商业搜索引擎崭露头角。企业开始大规模应用搜索数据库来管理和检索大量数据。

4. 智能化转型（2020 年代）：随着人工智能技术的发展，搜索数据库逐渐向智能化转型，开始引入机器学习、自然语言处理等技术，提供个性化推荐和智能搜索服务。同时，搜索数据库也在更多领域得到应用，如医疗保健、金融服务等。

   综上所述，搜索数据库经历了从起步阶段到技术突破、商业化发展再到智能化转型的发展历程，表明了其在信息检索领域的重要性和不断演进的趋势，不并断推动着搜索技术的进步和应用范围的扩展。随着人工智能技术的不断成熟，搜索数据库将会在智能化、个性化等方面取得更大的进步，为用户提供更加优质的搜索体验。

搜索型数据库的发展情况

搜索型数据库市场上已经有不少成熟的产品和厂商，但是总的来说，搜索型数据库的界限范围有点模糊，当然其他数据库也有同样的问题，有很多数据库既是文档数据库，又是多模态数据库，还是向量数据库等等，而常见的搜索型数据库主要诞生于：

• 由搜索引擎内核库发展而来的搜索数据库，如 Elasticsearch
• 由其他数据库扩展而来的搜索数据库，如 Postgres Full-Text Search
• 从零开始整体设计的搜索数据库：如 INFINI Pizza

通过流行的 DB-Engines 的搜索引擎排行榜，可以初探国外主流的搜索型数据库的流行趋势，如下图：

可以看到 Elastic 公司的 Elasticsearch 还是依旧保持强悍，自从 Elasticsearch 十多年前掀翻了 Splunk 的桌子，硬生生的在日志领域杀出一条新路，随后大杀四方，碾压整个搜索行业，霸榜至今。Elastic 商业化增长稳健，2023 年收入超过 10 亿美金。

OpenSearch 是由 AWS 发起的 Elasticsearch 开源分支，起因是由于 Elastic 针对云厂商采取的协议变更为 Elastic+SSPL，OpenSearch 基于 Apache 2.0 协议的 Elasticsearch 7.10 版本衍生而来，目前也具备了一定的用户基础。

Splunk 是一款用于搜索、监控和分析大规模机器生成的数据的软件平台，主要用于日志和安全分析领域，属于商业闭源产品。2023 年中被思科（Cisco） 以 230 亿美元现金收购，瞬间刷爆朋友圈。另外有意思的是，前四名除了 Splunk，底层都是 Lucene 内核。

MarkLogic 成立于 2001 年，自我定位是一个 NoSQL 多模态数据库厂商，也是商业闭源软件，生态成熟但是系统过于复杂，学习曲线较陡， 2023 年初被 Progress Software 以 3.55 亿美元收购算是一个比较好的结局。

当然了，除了榜上的这些产品，还有很多优秀的挑战者正摩拳擦掌，跃跃欲试。如下面的这些项目： vespa、Rockset、Doris，Clickhouse、quickwit、Pinot、SingleStore、qdrant、milvus、algolia、meilisearch、typesense、Manticore Search 等等。这些项目不一定都是自己定位是搜索型数据库，有侧重在 AI 领域的，有侧重在实时分析领域的等等，可谓各有千秋，不过都具备一定的搜索和分析能力，不出意外，基本上每家都要号称吊打 Elasticsearch 一番。

国内搜索型数据库的发展情况

搜索型数据库已经成为企业事实上的重要基础设施，而国内搜索型数据库的发展近些年也是开始得到重视，2023 年初，由中国信通院云计算与大数据研究所牵头，依托中国通信标准化协会大数据技术标准推进委员会，联合拓尔思、极限科技、星环科技等 30 余家企业编制的《搜索型数据库技术要求》正式出炉，该标准已成为行业内搜索型数据库技术选型和产品开发的风向标，极限科技的 INFINI Easysearch 率先通过了该标准。

墨天轮社区也开辟了搜索型数据库的排行榜，共有 6 家企业的产品上榜：

国内搜索型数据库的市场还在起步阶段，厂商和可选的产品也还比较少，不过随着市场的成熟，相信未来将迎来一波高速的发展。

搜索型数据库的趋势前瞻

技术在演变，场景在演变，数据也在演变，搜索数据库领域的发展也呈现出多个显著的趋势，这些趋势将进一步推动搜索技术的演进和应用范围的扩展。笔者观测到的主要的发展趋势包括以下方向供参考：

1. 趋势一：实时搜索与分析

• 实时搜索是搜索数据库领域的一个重要发展趋势，业务应用都在朝实时方向演进，用户对信息的即时性需求不断增加，要求搜索结果能够及时反映最新的数据和内容。

• 实时搜索技术通过实时索引和实时更新机制，能够实现快速的数据检索和更新，提供与时俱进的搜索结果，满足用户对信息的即时性需求。

• 目前以 Lucene 为内核的搜索型数据库基本上都只能做到 NRT（近实时）搜索，并且频繁更新带来的挑战和资源的浪费比较高，如果能做到更高效的实时性，可以大大提升用户的搜索体验和实时决策能力。

2. 趋势二：多模态混合搜索

• 多模态搜索是指在搜索过程中同时考虑多种信息形式，如文本、图像、视频等，以提高搜索结果的准确性和全面性。

• 这种技术能够通过分析和理解多种信息形式之间的关联性，为用户提供更加全面、丰富的搜索结果，适用于需要综合不同媒体形式的搜索场景。

• 现实世界的数据越来越复杂化，非结构化数据的利用的场景也越来越多，多模态可以为业务提供更加灵活的分析和探索能力，混合搜索的能力非常具有吸引力。

3. 趋势三：AI 智能语义搜索

• 大模型、AI 智能搜索技术的探索可谓是一日千里，通过利用人工智能技术来实现搜索过程中的智能化、语义化和个性化，结合自然语言处理、机器学习等技术分析用户意图，提供更加智能、个性化的搜索服务。

• 随着大模型的兴起，搜索数据库开始采用像 RAG（Retriever-Reader for Generative Question Answering）这样的大型预训练模型来提升搜索的效果。RAG 模型结合了检索器和阅读器的功能，能够实现更加准确和全面的搜索结果，为用户提供更加智能和个性化的搜索服务。

• 搜索型数据库可谓是 AI 落地最好的是试验田，Elasticsearch 通过拥抱 AI 和大模型，目前股价又重回巅峰，可喜可贺。

4. 趋势四：云原生、存算分离、Serverless

• 随着云计算技术的发展，搜索数据库正逐渐向云原生架构转变。云原生搜索数据库利用容器化、微服务架构等技术，实现了更高的灵活性、可扩展性和容错性，为企业提供了更加稳定和高效的搜索服务，并且成本更低，更加弹性。

• 存算分离是搜索数据库发展的另一重要趋势。通过将存储与计算分离，搜索数据库可以更好地适应数据存储和计算需求的变化，提高系统的性能和效率。存算分离技术使得搜索数据库能够实现更高的并发访问和更快的数据处理速度，为用户提供更加流畅和稳定的搜索体验。

• Serverless 提供开箱即用的体验，成本更低，使用更加灵活，也是目前很多搜索服务提供商正在积极探索的方向。

5. 趋势五：增强现实搜索

• 随着增强现实技术的发展，尤其是 Apple 发布的头戴式 Vision Pro，一部革命性的空间运算设备，将数位内容无缝融入实体世界，而搜索技术也将逐渐与增强现实相结合，为用户提供更加直观和沉浸式的搜索体验。增强现实搜索能够将搜索结果与现实世界相结合，结合 AI 技术为用户提供更加个性化和便捷的搜索服务，这是一个全新的领域，也意味着巨大的机会。

6. 趋势六：现代硬件的高效利用

• 现代硬件及软件运行环境已发生翻天覆地的变化， 片上计算，边缘计算，FPGA，DPU，GPU，一台设备几百核上 TB 内存已经成为现实，可运行之上的软件却还是停留在几十年前的架构。 如 Elasticsearch 其核心 Lucene（及类似实现） 是在 1997 建立的，距今已有 27 年了，虽然也在与时俱进，但是部分架构和设计理念已不具备先进性。

• 在现代的硬件上采用更先进的算法，更新的数据结构、更新的设计理论，利用最新的 CPU 指令集，向量化，批处理，充分发挥多核、大内存和 SSD 的优势，从而达到更高的效率，更低的成本，去解决之前不可能实现的问题，大有可为，也是下一代引擎需要关注的方向。

随着各类数据库功能的边界越来越模糊，应用场景高度交叉重叠，市场竞争也变得白热化，不过笔者认为垂直领域的搜索型数据库机会还是很大，而想做大而全的数据库产品已经没有太多的市场生存空间，一定要在垂直领域有特别专注的地方，我们 INFINI Labs 正在基于 Rust 研发的下一代搜索引擎 INFINI Pizza，就侧重于面向终端用户场景，解决海量数据更新情况下，同时满足高并发和低延迟的核心业务实时检索需求。

总结

综上所述，搜索数据库领域正处于快速发展的阶段。随着互联网数据量的不断增长和用户需求的不断变化，搜索数据库技术将不断创新和进步，以满足用户对信息获取的更加即时、个性化和多样化的需求。未来，随着人工智能技术的进一步发展和应用，搜索数据库将会变得更加智能化、普及化和多样化，为用户提供更加高效、准确和个性化的搜索服务，推动互联网信息的更加便捷获取和利用。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

原文：https://infinilabs.cn/blog/2024/the-technological-development-and-future-trends-of-search-oriented-databases/

近日，2023 年 9 月的 墨天轮中国数据库流行度排行 火热出炉，本月共有 287 个数据库参与排名，中国数据库行业竞争日益激烈。其中，极限科技旗下软件产品 INFINI Easysearch 在 搜索型数据库 分类排名中脱颖而出，荣登榜首，获得了第一名的好成绩。

同时在国内整个数据库排行中进入了前 50 的行列。

INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，同时也是一款具备自主可控的分布式近实时搜索型数据库产品，具备高性能、高可用、弹性伸缩、高安全性等特性，具备支持丰富的个性化搜索及聚合分析能力，可部署在物理机、虚拟机、容器、私有云和公有云，能承载 PB 级别的海量业务数据，为金融核心系统、运营商、制造业和政企业务系统提供安全、稳定、可靠的快速检索和实时数据探索分析能力，可满足不同业务场景的各项复杂需求。

Easysearch 的目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。 与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性。

国内搜索型数据库最近几年发展迅速，关键技术逐渐突破，应用场景和数据规模也逐年上升，已经成为企业必不可少的核心基础设施，产业生态也日益繁荣。极限科技作为国内搜索型数据库产品厂商第一梯队的杰出代表，同时也是行业标准的起草单位之一，此次在墨天轮中国数据库流行度排行搜索型数据库分类中荣登榜首，不仅代表着对 INFINI Easysearch 搜索型数据库的肯定，更代表着极限科技在“搜索数据库”产品的研究与创新上，取得了新的里程碑。

未来，极限科技将持续专注于打造国产搜索型数据库产品，致力于为用户提供更加优质、稳定、高效、安全的数据搜索服务和分析体验。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

7 月 4-5 日，由中国信息通信研究院（以下简称“中国信通院”）、中国通信标准化协会主办，中国通信标准化协会大数据技术标准推进委员会承办，InfoQ 联合主办的 "2023 可信数据库发展大会" 主论坛在北京国际会议中心隆重召开。

中国通信标准化协会副理事长兼秘书长代晓慧以视频方式致辞，中国信息通信研究院副院长王志勤出席会议并致辞，清华大学、复旦大学、中移信息、华为云、腾讯云、科蓝软件、阿里云、极限科技、浪潮 KaiwuDB、蚂蚁集团等行业内专家代表出席会议并发表主题演讲。吸引了超 1000 位开发者及关注数据库发展的行业人员到现场，共同论道我国数据库高水平自立自强之路。

释放生态引力，共谋产业新增长

此届大会以“自主 · 创新 · 引领”为主题，共设 9 个论坛，除主论坛外，此次大会围绕数据库热点话题设置了金融、电信、互联网以及汽车四大行业应用分论坛，以及云原生与开源数据库、搜索与分析型数据库、数据库运维及生态工具和时空时序及图数据库四大技术研讨分论坛，从供给侧及应用侧等多角度深度呈现中国数据库产业发展格局，为数据库产业高质量发展指明方向。

大会重磅发布了数据库产业全景图《中国数据库产业图谱（2023 年）》，中国信通院 2023 上半年“可信数据库”评测证书等多项中国信通院及中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）在数据库领域的最新研究和实践成果。

据了解，中国信通院在主论坛上发布了数据库产业全景图《中国数据库产业图谱（2023 年）》，旨在全面客观展现我国数据库产业中的关键领域、环节和代表企业。

图：极限科技荣誉入选中国信通院《中国数据库产业图谱（2023 年）》

作为搜索与分析型数据库的代表之一，极限科技荣誉入选《中国数据库产业图谱（2023 年）》，与此同时，极限科技的 INFINI Easysearch 搜索引擎软件 V1.0.0 通过搜索型数据库基础能力测试，获评“可信数据库”并受颁“搜索型数据库基础能力专项评测证书”。

图：极限科技受颁“搜索型数据库基础能力专项评测证书”

除此之外，极限科技正式入选成为 DBL 搜索型数据库推进计划首批企业中的副组长单位。

图：极限科技荣誉入选成为 DBL 搜索型数据库推进计划首批企业中的副组长单位

让搜索更简单，助推可信数据库生态建设

在搜索与分析型数据库分论坛上，极限科技创始人兼 CEO 曾勇受邀做了《从 ES 到 Easysearch：让搜索更简单》的主题演讲。据介绍，实时大数据搜索分析，尤其是结构化和非结构化数据结合的场景和需求非常大，针对海量数据，搜索技术成为核心，目前 Elasticsearch 在此领域非常流行。

中国信通院发布的《数据库发展研究报告（2023 年）》数据显示，2022 年中国数据库市场规模约 403.6 亿元，占全球 7.2%。有数据统计，中国目前已有超十万开发者，包括阿里巴巴、字节跳动、蚂蚁金服等在内的上万家知名互联网公司及大型企事业单位在生产环境大规模运行 Elasticsearch。但在使用过程中，中国开发者及企业对实时大数据搜索分析的差异化需求，Elasticsearch 仍有改进空间。

图：极限科技创始人兼 CEO 曾勇受邀在"2023 可信数据库发展大会"做主题演讲

极限科技创始人兼 CEO 曾勇介绍道，目前 Elasticsearch 在开源版本安全上问题频发，企业级能力有待提升；授权、国产适配与法律合规方面也存在问题；其本地化中文的支持能力弱，搜索体验有待提高；同时该软件使用成本、维护成本高，软件过重，资源占用率高，在计算资源上存在一定的浪费；更重要的是，该软件的生产没有保障，无专业的售后与技术保障能力，缺乏专业厂商。

极限科技自主研发的 INFINI Easysearch 是一个分布式的近实时搜索与分析引擎，其核心引擎基于开源的 Apache Lucene。Easysearch 衍生自基于开源协议 Apache 2.0 的 Elasticsearch 7.10 版本，其目标是提供一个轻量级的 Elasticsearch 可替代版本，并继续完善和支持更多的企业级功能。

曾勇表示，基于对 Elasticsearch 在中国应用存在问题的深入了解，极限科技在安全合规、可信可控、性能优化、降本增效的基础上，做到了足够的技术保障。与 Elasticsearch 相比，Easysearch 更关注在搜索业务场景的优化和继续保持其产品的简洁与易用性，让搜索更加简单。

图：极限科技创始人兼 CEO 曾勇主题演讲 PPT 内容

据了解，极限科技成立于 2021 年底，创始成员来自于 Elasticsearch 中国团队原班人马，以“让搜索更简单，更实时”为目标，致力于帮助客户解决使用 ES 时遇到的各种挑战，提供国产化配套产品及解决方案。曾勇表示，极限科技目前正在潜心打造下一代实时数据搜索引擎，积极参与全球开源生态建设。未来，极限科技将持续致力于持续增强内核和企业级能力的扩展完善，以搜索为核心，让数据 “好”看、有用、智能，助力我国数据库产业高质量发展，共谋产业新增长。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com

7 月 4 日，由中国通信标准化协会和中国信息通信研究院主办，大数据技术标准推进委员会承办，InfoQ 联合主办的 2023 可信数据库发展大会 在京隆重召开，中国信通院云计算与大数据研究所大数据与区块链部主任姜春宇在主论坛现场颁发评测通过证书，极限科技相关代表受邀出席领取。

极限科技研发的 INFINI Easysearch 是一个分布式的近实时搜索与分析引擎， 同时也是一款具备自主可控的分布式近实时搜索型数据库产品，具备高性能、高可用、弹性伸缩、高安全性等特性，具备支持丰富的个性化搜索及聚合分析能力，可部署在物理机、虚拟机、容器、私有云和公有云，能承载 PB 级别的海量业务数据，为金融核心系统、运营商、制造业和政企业务系统提供安全、稳定、可靠的快速检索和实时数据探索分析能力，可满足不同业务场景的各项复杂需求。

除了 Easysearch，极限科技还提供用于构建企业搜索基础设施的完整解决方案，通过云原生的方式来让企业高效治理大规模搜索集群，将分散的各个业务搜索计算资源合并归拢，通过资源统一调度管控，提升整体资源利用率和系统弹性，降低系统复杂度和 IT 运营成本，来持续满足业务的灵活多变需求，结合统一的安全、监控、告警、运维和管理等能力，达到统一管理、统一治理，降本增效，实现企业的搜索基础设施的平台化运营。

国内搜索型数据库最近几年发展迅速，关键技术逐渐突破，应用场景和数据规模也逐年上升，已经成为企业必不可少的核心基础设施，产业生态也日益繁荣。极限科技作为国内搜索型数据库产品厂商第一梯队的杰出代表，同时也是行业标准的起草单位之一，此次获得首批测评通过，不仅代表着对 INFINI Easysearch 搜索型数据库软件 Easysearch 的权威性肯定，更代表着极限科技在“搜索数据库”产品的研究与创新上，取得了新的里程碑。

作为“可信数据库”的一员，极限科技将持续专注于打造国产搜索型数据库产品，致力于为用户提供更加优质、稳定、高效、安全的数据搜索服务和分析体验。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.com