不要急,总有办法的

一个山寨的Lucene ------- Tantivy

Lucene | 作者 Charele | 发布于2024年06月27日 | 阅读数:2310

https://github.com/quickwit-oss/tantivy
有谁了解过嘛?
 
看了下,就是依造Lucene,用Rust实现了一下。
初步功能都实现了,term查询,range查询,Fuzzy查询,,
靠Rust语言加成,它号称比Lucene快N倍,这个我不想去测。
 
也有不同的地方,
文件存储那块,用了SSTable格式。
1111.PNG

比如我插入了3个文档,类似于Lucene中3个段。但实际处理还是有区别的
 功能上肯定远比不上Lucene,比如没有Knn查询等等,Lucene发展这么久了。
 
Lucene有ES和Solr这两个著名的产品,
除非出现一个成熟的应用,否则我估计tantivy用得人可能不多。
 
如果你熟悉Rust语言,不妨看一下下,,,
 
 
已邀请:

INFINI Labs 小助手 - 极限实验室(INFINI Labs)致力于打造极致易用的数据探索与分析体验。微信号:INFINI-Labs,公众号:极限实验室,官网:https://infinilabs.cn

赞同来自: Charele

INFINI Pizza 也是一个分布式的纯实时搜索与分析引擎, 基于 Rust 从零开始设计研发,部分设计借鉴了 Lucene,设计理念优于 Lucene,这是文档地址:https://pizza.rs/

Charele - Cisco4321

赞同来自:

2222.png

 
我发现了Tantivy里面一个线性回归的例子,
你可以看到它会训练和test。
 
要注意的是,这不是在实现像NLP这种深度学习(机器学习)功能,
而是它的基础功能,从文件中取文档,,,
 
当然,自动微分这种功能也不是自己实现的,用的是一个叫"fastdivide"的东东
  
 

要回复问题请先登录注册