随着 Rust 语言以其在性能、安全性和并发性方面的卓越表现，赢得了全球开发者的青睐，Rust 社区正迎来前所未有的发展机遇。在这个充满活力与潜力的背景下，Rust China Conf 2024 震撼来袭！

Rust 大会介绍

Rust 大会即将于 9 月 7 日 - 8 日在上海盛大举办。作为年度国内规模最大并唯一的 Rust 线下大型会议，它由 Rust 中文社区发起主办、知名企业和开源组织联合协办，深受开发者与相关企业的喜爱与推崇。自 2020 年起，已连续举办四年，今年预计将吸引超过 400 名一线程序员和企业用户，他们已在个人或公司项目中实践 Rust，期待在此交流心得、共享经验，共同推动 Rust 生态的繁荣与发展。

INFINI Labs 亮相 Rust 大会

作为本次大会的重要赞助商之一，INFINI Labs 将携手蚂蚁集团、字节跳动、JetBrains、亚马逊云科技、华为、Greptime 等知名企业，为与会者带来创新的灵感和实践的洞见。INFINI Labs 的创始人 & CEO 曾勇先生将分享《基于 Rust 编写下一代实时搜索引擎》—— INFINI Pizza 的故事，这款搜索引擎旨在解决海量数据的实时搜索需求，释放现代硬件的潜力，为企业打造高效、准确的搜索解决方案。

大会部分议题亮点抢先看

《人人可用的 Rust》

讲师简介： Rebecca Rumbul，Rust 基金会执行董事兼首席执行官， OpenUK 董事会成员， OpenSSF 管理委员会成员。

议题介绍： 本次分享将介绍 Rust 基金会如何投资于工程和推广工作，以确保 Rust 对所有人来说都是有用、高效且安全的。

《携手共建繁荣的 Rust OS 内核软件生态》

讲师简介： 田洪亮，田洪亮博士是蚂蚁研究院操作系统方向的负责人， 在 Rust 编程和内核开发方面有丰富的经验，荣获 OS2ATC'24 颁发的开源创新先锋奖。他发起的 Occlum 项目，是业界最早的 Rust OS 开源项目， 已发展成可信执行环境中最流行的 library OS，荣登中科协发布的"科创中国"开源创新榜单。曾就职于 Intel Labs China，博士毕业于清华大学。

议题介绍： Rust 语言以其高效、安全和生产力被视为系统编程，尤其是 OS 编程的未来。但在开发 OS 内核时，存在频繁使用 unsafe、缺乏 Cargo 支持、以及可重用的 no_std crates 不足等痛点。星绽开源社区提出了星绽 Framework 和星绽 OSDK，提供强大的 safe API 和开发工具链， 使得 Rust 内核开发更加安全、高效，并促进了 no_std crates 的复用与组合，旨在提升开发者生产力并推动 Rust 生态的繁荣。

《用 Rust 构建高性能的生成式 AI 应用》

讲师简介： 王宇博，现任亚马逊云科技大中华区开发者关系总监、首席布道师，致力于新一代信息技术与创新在开发者中的布道推广，以及开发者生态体系的建设。

议题介绍： 生成式 AI 技术在自然语言处理和图像生成领域快速发展。对于 Rust 开发者来说，利用 Rust 的高性能特性构建高效、可靠的生成式 AI 应用至关重要。本次演讲将深入探讨在 Rust 中开发生成式 AI 应用的实践方法，分析其在数值计算和并发编程中的优势，并分享确保应用可靠性和安全性的最佳实践，帮助开发者掌握构建高性能生成式 AI 应用的技巧。

《字节跳动在 Rust 服务端方向的实践与思考》

讲师简介： 吴迪，字节跳动服务框架 Rust 负责人，负责字节跳动 Rust 生态建设与推广落地。

议题介绍： 字节跳动三年前开始投资 Rust 服务端开发，构建了内部生态并开源核心框架 Volo。现在已在多个业务线成功落地，规模国内最大，收益超预期。本次分享将介绍选择 Rust 的原因、落地心得及未来技术趋势的思考。

《Async Rust 维测&定位的探索和思考》

讲师简介：

陈明煜：毕业于加州大学圣地亚哥分校，现就职于华为，OpenHarmony Ylong Rust 异步框架的开发者，致力于推动 OH 应用的 Rust 异步化。

楼智豪：毕业于浙江大学，现就职于华为，参与过 Rust 与 Cangjie 语言的开源贡献，现从事 Rust 在 OpenHarmony 中的应用。

议题介绍： 本议题将介绍我们在 OpenHarmony 中遇到的一些异步框架使用问题，以及我们在 Rust 异步调测与定位方面的探索。内容包括对业界常见异步框架的维测能力调研，以及对 Rust 无栈协程的推栈处理和跨 FFI 的 C++ exception 问题解决方法，旨在提升 Rust 异步的可商用性。

《Rust HashMap：比看起来更复杂》

讲师简介： 曹瑞秋，蚂蚁集团高级开发工程师，Apache HoraeDB/CeresDB 核心开发者，Apache HoraeDB PPMC member，长期专注于时序数据库领域。

议题介绍： Rust HashMap 看似简单，实际使用中存在诸多"坑点"，尤其在 CPU 消耗和内存占用方面。分段 HashMap 设计中的伪共享和内存访问局部性差会影响性能。HashMap 的 capacity 通常远大于指定值，加之内存访问特性，会占据大量物理内存。此外，with_capacity方法和 allocator 内存池的使用不当可能导致内存释放问题。因此，使用 Rust HashMap 需要细心设计。

《Rust 和 C++ 互操作及交叉编译》

讲师简介： 朱树磊，北京大学物理学士，德国 TUM 硕士，现任浙江大华技术股份有限公司高级算法专家。从事人工智能算法研发工作 10 余年，擅长机器学习、深度学习和大数据智能等技术领域，具备丰富的人工智能算法系统设计和开发经验。

议题介绍： Rust 和 C++ 经常需要共存，但 C++ 的交叉编译复杂性是一个挑战。本次分享将介绍如何使用 cxx 让 Rust 和 C++ 代码共存，并通过 LLVM 工具链补齐 C++ 交叉编译的短板，让 C++ 和 Rust 的互操作简单可移植。

《超大规模：抖音直播的 Rust 技术落地实践》

讲师简介： 赵鹏，抖音直播架构师，Rust 技术负责人。

议题介绍： 抖音直播从 2022 年开始引入 Rust 技术栈，用于应对直播业务中的超低延时、超高性能挑战，取得了远超预期巨大的收益。两年时间里我们有 20+ 个头部服务完成了 Rust 重构，吞吐平均提升超 100%，节省了 16w 核 CPU 资源，多个服务 SLA 提升至 6 个 9，目前我们的 Rust 服务在线上承担着超 4000w qps 的请求。Rust 技术在抖音直播研发团队二级部门实现了 100% 覆盖，每个子业务团队都有 Rust 服务在线上运行。我们还成立了专门的 Rust 技术组帮助解决业务公共问题，沉淀了完整的 Rust 研发流水线，基本实现了 Rust 新人两周即可上手开发，两个月完成一个 Rust 服务上线的速度。综合 Rust 服务类型覆盖、数量、资源占用、开发人员、生态、基建完善程度，抖音直播已经是国内规模最大的 Rust 技术生产环境落地团队，本次分享将给大家介绍我们从选型、验证、落地、推广到维护过程中的真实实践经验，希望能够帮助到其他同行朋友。

大会完整议程：https://rustcc.cn/2024conf/schedule.html

大会报名

本次大会致力于成为中国 Rustaceans 面对面交流的盛宴，为国内的 Rust 开发者和企业提供一次充分的成果展示、技术分享、能力提升、行业资讯交流、企业人才储备建设的机会。欢迎购票参与现场交流。

🔗 报名链接 / 扫二维码：

https://4292817522623.huodongxing.com/event/5757822319111

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

INFINI Pizza 是 INFINI Labs 即将发布的一个基于 Rust 编写的搜索引擎（即将完全开源），目前已经完成基本的搜索能力，并且基于 INFINI Pizza 的核心引擎，提供了一个 WASM 版本的超轻量级内核，可以很方便的嵌入到各类应用系统，比如网站，尤其是静态站点或者小型的博客系统等。

目前 Pizza 和 INFINI Labs 官网已经集成了 INFINI Pizza for WebAssembly，具体的搜索效果如下图：

打开上面的网站（https://infinilabs.cn），通过按下快捷 s即可调出搜索框，然后就可以体验到 INFINI Pizza 提供的搜索能力。值得特别提出的是，在搜索的过程你所有的操作都是在浏览器本地执行，也就是不会像传统的搜索实现方式那样，需要每次输入一个查询条件都会和后端的搜索服务器进行一次交互，相比之下， INFINI Pizza for WebAssembly 则是完全离线操作，即使断网，也能愉快的搜索。

废话不多说，接下来为大家介绍一下如何在你自己的站点来使用 INFINI Pizza for WebAssembly。

首先，INFINI Pizza for WebAssembly 是开源的，Github 地址在这里：https://github.com/infinilabs/pizza-wasm 编译好的 WASM 包在这里可以直接下载：https://github.com/infinilabs/pizza-wasm/tree/main/pkg

➜  wasm git:(main) ✗ du -sh pkg/*
4.0K    pkg/README.md
4.0K    pkg/package.json
4.0K    pkg/pizza_wasm.d.ts
4.0K    pkg/pizza_wasm.js
 12K    pkg/pizza_wasm_bg.js
580K    pkg/pizza_wasm_bg.wasm
4.0K    pkg/pizza_wasm_bg.wasm.d.ts
256K    pkg/pizza_wasm_bg.wasm.gz

可以看到，WASM 的包只有 500 多 KB，通过 Gzip 压缩之后，只有 200 多 KB，比较轻量级。

Pizza-WASM 是 INFINI Pizza 核心引擎的 WebAssembly 接口封装，只对外暴露了几个简单的访问接口，对于目前的前端搜索应用足够了，在 https://github.com/infinilabs/pizza-wasm/tree/main/web 里面有一个非常简单的 WASM 方法调用的例子，可以简单进行了解。

当然，只是有 Pizza 的 WASM 还是不够的，我们如果要在现有的静态站点上添加搜索框的，还需要考虑数据怎么来，结果如何展现，所以针对这个场景，我们封装好了一个 Pizza-DocSearch 的一个项目，可以直接进一步简化使用，项目也是开源的，Github 地址是：https://github.com/infinilabs/pizza-docsearch

由于示例项目里面默认已经将编译好的代码和样例上传了，我们直接下载这个源代码并本地进行功能预览：

➜  /tmp git clone https://github.com/infinilabs/pizza-docsearch.git
Cloning into 'pizza-docsearch'...
remote: Enumerating objects: 174, done.
remote: Counting objects: 100% (174/174), done.
remote: Compressing objects: 100% (112/112), done.
remote: Total 174 (delta 86), reused 147 (delta 59), pack-reused 0 (from 0)
Receiving objects: 100% (174/174), 941.94 KiB | 1.20 MiB/s, done.
Resolving deltas: 100% (86/86), done.
➜  /tmp cd pizza-docsearch/example/dist
➜  dist git:(main) python3 -m http.server 8083

Serving HTTP on :: port 8083 (http://[::]:8083/) ...

打开浏览器，并访问：http://localhost:8083，如下：

观察浏览器的网络请求，可以看到会加载示例的 index.json 数据：

实际的情况，如果是我们自己的静态网站或者是博客，只有保证网站根目录有这个文件及相应的格式，即可快速将这个你看到的搜索功能集成到你自己的网站上去。OK，功能验证完毕了，我们开始集成到我们的站点吧。

Pizza/INFINI Labs 的官网，使用的 Hugo 来静态生成的，index.json 文件不需要手动生成，首先我们需要让 Hugo 生成 JSON 格式的内容，这个是 Hugo 自带的能力，我们需要修改 Hugo 项目的配置：

将 outputs 参数这里新增一个 JSON 的输出，然后我们在主题的模版里面再定义一下 JSON 输出的格式模版：

文本格式的内容如下，方便复制粘贴，保存文件名为 index.json：

{{- $index := slice -}}
{{- range where .Site.RegularPages.ByDate.Reverse "Type" "not in" (slice "page" "json") -}}
    {{- $index = $index | append (dict "title" (.Title | plainify) "url" .Permalink "tags" .Params.tags "category" .Params.category "subcategory" .Params.subcategory "summary" (.Params.Summary | markdownify | plainify) "content" (.Content | markdownify | plainify)) -}}
{{- end -}}
{{- $index | jsonify -}}

OK，接下来就是将站点内每篇文章或者博客的元数据里面加上我们上面已经用到了的标签：

OK， 启动 Hugo 站点：

                   | EN
-------------------+------
  Pages            | 181
  Paginator pages  |   5
  Non-page files   |   0
  Static files     | 110
  Processed images |   0
  Aliases          |  52
  Sitemaps         |   1
  Cleaned          |   0

Built in 323 ms
Watching for changes in /Users/medcl/Documents/rust/pizza/website/{assets,content.en,static,themes}
Watching for config changes in /Users/medcl/Documents/rust/pizza/website/config.yaml
Environment: "development"
Serving pages from memory
Running in Fast Render Mode. For full rebuilds on change: hugo server --disableFastRender
Web Server is available at //localhost:1313/ (bind address 127.0.0.1)
Press Ctrl+C to stop

打开 Hugo 的站点地址，并尝试访问 http://localhost:1313/index.json, 应该就可以访问到这个 JSON 文件了:

至此，数据准备完毕，接下来我们集成前端搜索控件。

还记得我们之前从 Pizza-docsearch 下载的资源文件么，我们主要用到 assets 里面的 3 个文件：

/tmp/pizza-docsearch/example/dist
➜  dist git:(main) tree
.
├── assets
  ├── index-C1z1vz3D.css
  ├── index-D_gOo737.js
  └── pizza_wasm_bg-BRCuviY_.wasm
├── index.html
└── index.json

1 directory, 5 files
➜  dist git:(main)

打开 index.html 文件，我们可以看到里面的内容如下：

拷贝这个 assets 目录文件到我们的 Hugo 站点，位置如下：

然后修改 Hugo 的主题模版，在所有页面的头模版 html-head.html里面增加一段代码来加载我们的 CSS 样式文件：

然后继续修改 Hugo 的主题模版文件，在所有页面的页脚模版，增加一段代码来加载 JS 脚本文件：

然后，在页面模版的适当位置，插入一下 Docsearch 的一段标签，用于放置搜索框，如图：

至此，大功告成！

打开浏览器即可看到最终效果：

最后，总结一下，借助 INFINI Pizza Docsearch 的 3 个小文件，只需 3 行代码，你可以在 5 分钟内为你的静态站点添加一个轻量级的离线搜索功能，快去试试吧。

相关链接：

• Pizza
• Pizza Wasm
• Pizza Docsearch

交流群

📢 对 Pizza，Rust，Wasm 搜索引擎感兴趣的朋友可以加这个群~👇,如果加不进群可微信添加小助手（INFINI-labs）拉您入群。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

过去一年，在全球 AI 浪潮和国家数据局成立的推动下，数据库产业变革不断、热闹非凡。2024 年，站在中国数字经济产业升级和数据要素市场化建设的时代交汇点上，“2024 可信数据库发展大会” 将于 2024 年 7 月 16-17 日在北京悠唐皇冠假日酒店隆重召开，大会将以 “自主、创新、引领” 为主题，以期进一步推动全球数据库产业进步，共同开创可信数据库行业的新时代。

届时，极限科技（INFINI Labs）创始人兼 CEO 曾勇 将于 7 月 17 日下午在 搜索与分析型数据库＆多模数据库分论坛 发表主题演讲 《下一代万亿级实时搜索引擎的设计与思考》 ，主要介绍下一代纯实时搜索新引擎 INFINI Pizza 的设计思路与软件架构的思考以及复杂场景下的搜索需求和挑战，敬请期待！

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

概述

随着数字科技的飞速发展和信息量的爆炸性增长，搜索引擎已成为我们获取信息的首选途径之一，典型的代表厂商如 Google。然而，随着用户需求的不断演变，传统的搜索技术已经无法满足人们对信息的实时性、个性化和多样性的需求。

在企业内部，这种需求更加显著。随着企业数字化转型的持续深化，非结构化数据正日益成为各类组织数据增长的主要来源，也是数据体系中至关重要的组成部分，蕴含着巨大的价值。如何高效地存储和利用非结构化数据的重要性也日益凸显。企业需要更高效地管理和检索内部的海量数据，以支持业务决策和运营需求。

据 IDC 数据预计，到 2025 年，80%的数据将是非结构化数据；而根据 Gartner 的数据显示，从 2019 年到 2024 年，非结构化数据容量预计将增加两倍。然而，目前非结构化数据面临着表现形式多样、管理复杂性高、价值挖掘难度大等诸多挑战。传统的数据库系统往往无法满足企业对实时性和多样性的搜索需求，为了解决这些挑战，以自动分词、倒排索引、相关度计算、向量检索引擎等技术为核心构建的搜索型数据库应运而生。这些数据库自上世纪 90 年代诞生以来不断发展演进，正在成为数据库领域中不可或缺的一个重要分支。

什么是搜索型数据库？

搜索型数据库早期又称全文数据库，或者企业搜索引擎，是一种专门用于存储和管理大规模文本数据，并支持高效的文本搜索和信息检索的数据库系统，不过随着技术不断发展和应用场景日益丰富，目前搜索型数据库不仅仅可以处理长文本数据，也可以处理常见的数值、日期等结构化数据，IP、地理位置信息、图片、音视频等非结构化数据，搜索型数据库的应用范畴不断拓展，正在由支撑业务系统检索加速、IT 运维可观测性、聚合查询分析等向多场景、多模态数据搜索方向发展。

典型的搜索数据库一般具有以下特点：

1. 灵活的索引能力：搜索数据库能够处理多种类型的数据，包括文本、图像、音频、视频等非结构化数据。它们采用自动分词、倒排索引等技术，能够高效地处理不同格式和类型的数据，提供灵活的搜索和检索功能。
2. 高效的查询性能：搜索数据库具有高效的查询处理能力，能够快速索引和检索大规模的数据。借助优化的索引结构和查询算法，搜索数据库能够在短时间内准确地返回与查询相关的结果，提高用户的搜索效率，常用于解决关系型数据库的高并发检索需求。
3. 支持复杂的搜索功能：搜索数据库提供多样化的搜索功能，包括全文检索、模糊搜索、精确搜索、范围搜索、向量搜索、地理信息检索等。用户可以根据不同的需求和场景，灵活地选择和组合不同的搜索功能，以获取符合期望的搜索结果。
4. 高性能和可扩展性：搜索数据库具有高性能和可扩展性的特点，能够处理大规模数据和高并发访问。它们采用分布式架构和并行计算技术，实现了水平扩展，能够满足不断增长的数据量和用户访问量的需求。

综上所述，搜索数据库具有处理非结构化数据、实时搜索和更新、多样化的搜索功能、个性化推荐和智能搜索、高性能和可扩展性、全面的搜索结果展示等特点，是处理大规模数据和提供高效搜索服务的重要工具。

搜索型数据库的应用场景

搜索型数据库在各行各业都有广泛的应用，以下是一些典型的应用场景：

1. 零售和电商：在零售和电商行业，搜索型数据库被广泛应用于产品搜索和推荐系统中。通过搜索功能，顾客可以轻松查找所需商品，而个性化推荐系统则可以根据用户的搜索历史和行为习惯推荐相关的产品，提高购物体验和交易转化率。
2. 医疗保健：在医疗保健行业，搜索型数据库被用于医学文献检索、疾病诊断和药物搜索等方面。医生和研究人员可以利用搜索功能找到相关的医学文献和研究成果，帮助诊断疾病和制定治疗方案。
3. 金融服务：在金融服务行业，搜索型数据库被用于金融数据检索、市场分析和投资决策等方面。投资者可以通过搜索功能查找相关的金融数据和市场资讯，帮助他们做出更加准确的投资决策。
4. 制造业：在制造业中，搜索型数据库被用于生产过程监控、质量控制和故障诊断等方面。工程师可以利用搜索功能查找相关的生产数据和技术资料，帮助他们解决生产中的问题和挑战。
5. 媒体和娱乐：在媒体和娱乐行业，搜索型数据库被用于内容检索、版权管理和用户推荐等方面。用户可以通过搜索功能查找感兴趣的新闻、音乐和视频等内容，而个性化推荐系统则可以根据用户的搜索历史和偏好推荐相关的内容。
6. 教育和培训：在教育和培训行业，搜索型数据库被用于学习资源检索、课程管理和学习分析等方面。学生和教师可以利用搜索功能查找相关的学习资源和课程内容，而学习分析系统则可以分析学生的搜索行为和学习表现，为教学提供参考和支持。
7. IT 运维可观测性：通过搜索型数据库，可以实时监控系统的运行状况、性能指标和日志数据，帮助运维团队及时发现和解决系统故障、性能问题和异常情况，确保系统的稳定运行。
8. 安全监测和威胁检测：利用搜索型数据库对系统的安全日志进行审计和监控，监测用户的访问行为和系统操作，及时发现异常行为和安全事件。同时，搜索型数据库还可以与威胁情报数据集成，对内部日志数据进行关联分析，快速识别并应对各种安全威胁和攻击行为，保障系统和数据的安全。

综上所述，搜索型数据库在各行各业都发挥着重要作用，数据规模从 GB 到 PB 不等，体现在生活中的方方面面，为用户提供了高效、准确和个性化的信息搜索和检索服务，推动了各行业的发展和进步。随着搜索技术的不断创新和发展，搜索型数据库在各行业中的应用将会越来越广泛，并持续为用户带来更加便捷和智能的搜索体验。

搜索型数据库的发展历程

搜索型数据库的发展历程可以概括如下四个阶段：

1. 起步阶段（1990 年代）：搜索数据库的雏形开始于上世纪 90 年代，当时以全文检索为主要技术手段，最初用于文档检索和网络搜索。典型代表包括 AltaVista、Excite 等。
2. 技术突破（2000 年代）：随着互联网的快速发展，搜索数据库开始应用于更多领域，如电子商务、社交网络等。Lucene、Sphinx 等开源搜索引擎的出现推动了搜索技术的进步。
3. 商业化发展（2010 年代）：搜索数据库进入商业化阶段，以 Elasticsearch 等为代表的商业搜索引擎崭露头角。企业开始大规模应用搜索数据库来管理和检索大量数据。

4. 智能化转型（2020 年代）：随着人工智能技术的发展，搜索数据库逐渐向智能化转型，开始引入机器学习、自然语言处理等技术，提供个性化推荐和智能搜索服务。同时，搜索数据库也在更多领域得到应用，如医疗保健、金融服务等。

   综上所述，搜索数据库经历了从起步阶段到技术突破、商业化发展再到智能化转型的发展历程，表明了其在信息检索领域的重要性和不断演进的趋势，不并断推动着搜索技术的进步和应用范围的扩展。随着人工智能技术的不断成熟，搜索数据库将会在智能化、个性化等方面取得更大的进步，为用户提供更加优质的搜索体验。

搜索型数据库的发展情况

搜索型数据库市场上已经有不少成熟的产品和厂商，但是总的来说，搜索型数据库的界限范围有点模糊，当然其他数据库也有同样的问题，有很多数据库既是文档数据库，又是多模态数据库，还是向量数据库等等，而常见的搜索型数据库主要诞生于：

• 由搜索引擎内核库发展而来的搜索数据库，如 Elasticsearch
• 由其他数据库扩展而来的搜索数据库，如 Postgres Full-Text Search
• 从零开始整体设计的搜索数据库：如 INFINI Pizza

通过流行的 DB-Engines 的搜索引擎排行榜，可以初探国外主流的搜索型数据库的流行趋势，如下图：

可以看到 Elastic 公司的 Elasticsearch 还是依旧保持强悍，自从 Elasticsearch 十多年前掀翻了 Splunk 的桌子，硬生生的在日志领域杀出一条新路，随后大杀四方，碾压整个搜索行业，霸榜至今。Elastic 商业化增长稳健，2023 年收入超过 10 亿美金。

OpenSearch 是由 AWS 发起的 Elasticsearch 开源分支，起因是由于 Elastic 针对云厂商采取的协议变更为 Elastic+SSPL，OpenSearch 基于 Apache 2.0 协议的 Elasticsearch 7.10 版本衍生而来，目前也具备了一定的用户基础。

Splunk 是一款用于搜索、监控和分析大规模机器生成的数据的软件平台，主要用于日志和安全分析领域，属于商业闭源产品。2023 年中被思科（Cisco） 以 230 亿美元现金收购，瞬间刷爆朋友圈。另外有意思的是，前四名除了 Splunk，底层都是 Lucene 内核。

MarkLogic 成立于 2001 年，自我定位是一个 NoSQL 多模态数据库厂商，也是商业闭源软件，生态成熟但是系统过于复杂，学习曲线较陡， 2023 年初被 Progress Software 以 3.55 亿美元收购算是一个比较好的结局。

当然了，除了榜上的这些产品，还有很多优秀的挑战者正摩拳擦掌，跃跃欲试。如下面的这些项目： vespa、Rockset、Doris，Clickhouse、quickwit、Pinot、SingleStore、qdrant、milvus、algolia、meilisearch、typesense、Manticore Search 等等。这些项目不一定都是自己定位是搜索型数据库，有侧重在 AI 领域的，有侧重在实时分析领域的等等，可谓各有千秋，不过都具备一定的搜索和分析能力，不出意外，基本上每家都要号称吊打 Elasticsearch 一番。

国内搜索型数据库的发展情况

搜索型数据库已经成为企业事实上的重要基础设施，而国内搜索型数据库的发展近些年也是开始得到重视，2023 年初，由中国信通院云计算与大数据研究所牵头，依托中国通信标准化协会大数据技术标准推进委员会，联合拓尔思、极限科技、星环科技等 30 余家企业编制的《搜索型数据库技术要求》正式出炉，该标准已成为行业内搜索型数据库技术选型和产品开发的风向标，极限科技的 INFINI Easysearch 率先通过了该标准。

墨天轮社区也开辟了搜索型数据库的排行榜，共有 6 家企业的产品上榜：

国内搜索型数据库的市场还在起步阶段，厂商和可选的产品也还比较少，不过随着市场的成熟，相信未来将迎来一波高速的发展。

搜索型数据库的趋势前瞻

技术在演变，场景在演变，数据也在演变，搜索数据库领域的发展也呈现出多个显著的趋势，这些趋势将进一步推动搜索技术的演进和应用范围的扩展。笔者观测到的主要的发展趋势包括以下方向供参考：

1. 趋势一：实时搜索与分析

• 实时搜索是搜索数据库领域的一个重要发展趋势，业务应用都在朝实时方向演进，用户对信息的即时性需求不断增加，要求搜索结果能够及时反映最新的数据和内容。

• 实时搜索技术通过实时索引和实时更新机制，能够实现快速的数据检索和更新，提供与时俱进的搜索结果，满足用户对信息的即时性需求。

• 目前以 Lucene 为内核的搜索型数据库基本上都只能做到 NRT（近实时）搜索，并且频繁更新带来的挑战和资源的浪费比较高，如果能做到更高效的实时性，可以大大提升用户的搜索体验和实时决策能力。

2. 趋势二：多模态混合搜索

• 多模态搜索是指在搜索过程中同时考虑多种信息形式，如文本、图像、视频等，以提高搜索结果的准确性和全面性。

• 这种技术能够通过分析和理解多种信息形式之间的关联性，为用户提供更加全面、丰富的搜索结果，适用于需要综合不同媒体形式的搜索场景。

• 现实世界的数据越来越复杂化，非结构化数据的利用的场景也越来越多，多模态可以为业务提供更加灵活的分析和探索能力，混合搜索的能力非常具有吸引力。

3. 趋势三：AI 智能语义搜索

• 大模型、AI 智能搜索技术的探索可谓是一日千里，通过利用人工智能技术来实现搜索过程中的智能化、语义化和个性化，结合自然语言处理、机器学习等技术分析用户意图，提供更加智能、个性化的搜索服务。

• 随着大模型的兴起，搜索数据库开始采用像 RAG（Retriever-Reader for Generative Question Answering）这样的大型预训练模型来提升搜索的效果。RAG 模型结合了检索器和阅读器的功能，能够实现更加准确和全面的搜索结果，为用户提供更加智能和个性化的搜索服务。

• 搜索型数据库可谓是 AI 落地最好的是试验田，Elasticsearch 通过拥抱 AI 和大模型，目前股价又重回巅峰，可喜可贺。

4. 趋势四：云原生、存算分离、Serverless

• 随着云计算技术的发展，搜索数据库正逐渐向云原生架构转变。云原生搜索数据库利用容器化、微服务架构等技术，实现了更高的灵活性、可扩展性和容错性，为企业提供了更加稳定和高效的搜索服务，并且成本更低，更加弹性。

• 存算分离是搜索数据库发展的另一重要趋势。通过将存储与计算分离，搜索数据库可以更好地适应数据存储和计算需求的变化，提高系统的性能和效率。存算分离技术使得搜索数据库能够实现更高的并发访问和更快的数据处理速度，为用户提供更加流畅和稳定的搜索体验。

• Serverless 提供开箱即用的体验，成本更低，使用更加灵活，也是目前很多搜索服务提供商正在积极探索的方向。

5. 趋势五：增强现实搜索

• 随着增强现实技术的发展，尤其是 Apple 发布的头戴式 Vision Pro，一部革命性的空间运算设备，将数位内容无缝融入实体世界，而搜索技术也将逐渐与增强现实相结合，为用户提供更加直观和沉浸式的搜索体验。增强现实搜索能够将搜索结果与现实世界相结合，结合 AI 技术为用户提供更加个性化和便捷的搜索服务，这是一个全新的领域，也意味着巨大的机会。

6. 趋势六：现代硬件的高效利用

• 现代硬件及软件运行环境已发生翻天覆地的变化， 片上计算，边缘计算，FPGA，DPU，GPU，一台设备几百核上 TB 内存已经成为现实，可运行之上的软件却还是停留在几十年前的架构。 如 Elasticsearch 其核心 Lucene（及类似实现） 是在 1997 建立的，距今已有 27 年了，虽然也在与时俱进，但是部分架构和设计理念已不具备先进性。

• 在现代的硬件上采用更先进的算法，更新的数据结构、更新的设计理论，利用最新的 CPU 指令集，向量化，批处理，充分发挥多核、大内存和 SSD 的优势，从而达到更高的效率，更低的成本，去解决之前不可能实现的问题，大有可为，也是下一代引擎需要关注的方向。

随着各类数据库功能的边界越来越模糊，应用场景高度交叉重叠，市场竞争也变得白热化，不过笔者认为垂直领域的搜索型数据库机会还是很大，而想做大而全的数据库产品已经没有太多的市场生存空间，一定要在垂直领域有特别专注的地方，我们 INFINI Labs 正在基于 Rust 研发的下一代搜索引擎 INFINI Pizza，就侧重于面向终端用户场景，解决海量数据更新情况下，同时满足高并发和低延迟的核心业务实时检索需求。

总结

综上所述，搜索数据库领域正处于快速发展的阶段。随着互联网数据量的不断增长和用户需求的不断变化，搜索数据库技术将不断创新和进步，以满足用户对信息获取的更加即时、个性化和多样化的需求。未来，随着人工智能技术的进一步发展和应用，搜索数据库将会变得更加智能化、普及化和多样化，为用户提供更加高效、准确和个性化的搜索服务，推动互联网信息的更加便捷获取和利用。

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://infinilabs.cn

原文：https://infinilabs.cn/blog/2024/the-technological-development-and-future-trends-of-search-oriented-databases/

在数字化浪潮席卷全球的今天，INFINI Labs 深刻认识到开源项目和教育机构在技术创新与人才培养中的核心作用。因此，我们郑重推出全新升级的免费许可证计划，旨在全球范围内为开源社区和教育界提供有力支持，共同推动软件生态的繁荣与进步。

一、产品实力与荣誉

1.INFINI Pizza：实时搜索的新纪元

• 在第十三届“数据技术嘉年华”（DTC2024）上，INFINI Labs 发布了划时代的搜索引擎——INFINI Pizza，标志着搜索型数据库迈入实时搜索的新纪元。
• INFINI Pizza 凭借先进的设计理念与架构，以及独有的专利技术，实现了对海量数据的无限伸缩，提供高效、准确的实时数据搜索能力

2.行业标杆案例

• INFINI Labs 荣获中国信通院大数据“星河”标杆案例，其中移动云搜索数据库案例更是荣选为数据库标杆案例。
• 该案例基于移动云 Easysearch 数据库，通过创新的多集群协同模式，实现了数据高性能存取，展现出极高的经济价值与社会价值。

3.国家发明专利认可

• INFINI Labs 的多项自主研发技术获得国家发明专利授权，这些成果彰显了公司在大数据领域的技术实力与创新精神。

二、品牌与行业地位

• INFINI Labs 作为搜索型数据库产品领域的领军企业，积极参与行业标准的制定与推动。

• 其核心产品 INFINI Easysearch 荣获信通院首批可信搜索型数据库产品证书，再次印证了公司在行业中的领先地位。

三、产品介绍

1. INFINI Easysearch：作为 Elasticsearch 的国产化替代方案，提供高度兼容性与卓越性能，满足企业级需求。

2. INFINI Console：轻量级多集群、跨版本搜索基础设施统一管控平台，助力企业高效管理搜索集群。

3. INFINI Gateway：专为 Elasticsearch 打造的高性能应用网关，提供丰富的功能特性与卓越性能。

4. INFINI Loadgen：支持多种搜索引擎的轻量级压测工具，为企业提供强大的数据加载与测试能力。

5. INFINI Pizza：引领实时搜索时代的新星，为企业提供高效、准确的实时数据搜索解决方案。

四、免费许可证计划

1.教育机构学术许可证

• 面向全球公立或私立学校、职业学校、大学等教育机构，提供非商业用途的软件使用许可。

• 有效期一年，符合条件的教育机构可继续申请。

2.开源项目许可证

• 面向非商业开源项目开发者，要求项目拥有活跃社区并在其官网添加 INFINI Labs 的链接。

• 许可证免费，有效期一年，符合条件的项目可继续申请。

五、申请方式

符合条件的开源项目和教育机构可通过访问 INFINI Labs 官方网站，轻松提交申请，我们将尽快审核并回复。

申请链接：https://infinilabs.cn/community

六、结语

INFINI Labs 以全新升级的免费许可证计划为契机，与全球开源社区和教育界携手合作，共同推动软件生态的创新与发展。让我们共同迎接更加美好的未来！

七、关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn

原文：https://infinilabs.cn/blog/2024/infini-labs-for-open-source-education-the-free-license-program-upgrades/

导语

龙腾四海内，风云际会时。2024年4月12日至13日，北京新云南皇冠假日酒店将迎来一场盛会《第十三届数据技术嘉年华》。这是由墨天轮数据社区和中国数据库联盟（ACDU）携手主办的精彩盛事。本次嘉年华的主题是“智能·云原生·一体化——DB 与 AI 协同创新，模型与架构融合发展”将为您揭示数据技术的未来趋势。80余位行业领袖、技术精英、实践者和生态布道者将汇聚一堂，带来一场思想碰撞的盛宴。

极限科技（INFINI Labs）创始人 & CEO，Elasticsearch 中文社区（现搜索客）发起人兼社区主席曾勇先生应邀出席参加第十三届数据技术嘉年华盛会，并将于 4 月 13 日下午 15:00 在 NoSQL 数据库专题论坛上发表演讲，演讲主题：《下一代纯实时搜索引擎 Pizza》，为大家介绍当前最新搜索型数据库的行业发展趋势、前沿的技术方案、如何解决海量数据下的高并发低延迟实时检索需求等干货内容。

欢迎大家报名参会，共同探讨与交流。我在 DTC 现场等你！购票时输入优惠码(ZENGY)即可免费参会，数量有限，先到先得~

极限科技一直致力于推动数据技术的边界，不断突破创新。我们相信，通过与业内的顶级专家和领导者们的深入交流与合作，我们能够共同开创数据技术的美好未来。这场嘉年华将为我们提供一个珍贵的机会，与业界精英们面对面交流，共同探索数据技术的前沿领域。

大会议程

除了技术盛宴外，本次大会还为参会者准备了丰厚的大奖，其中主论坛的奖品更是高达上万元。此外，参会者们还可以前往各个厂商展台，领略产品魅力并感受最新最前沿的数据技术，完成集章任务后更有机会抽取千元大奖，相信一定能给您带来意想不到的惊喜！点击“查看原文”了解更多活动信息吧！

关于极限科技（INFINI Labs）

极限科技，全称极限数据（北京）科技有限公司，是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室（INFINI Labs）致力于打造极致易用的数据探索与分析体验。

极限科技是一支年轻的团队，采用天然分布式的方式来进行远程协作，员工分布在全球各地，希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选，为中国技术品牌输出添砖加瓦。

官网：https://www.infinilabs.cn