使用 dmesg 来查看一些硬件或驱动程序的信息或问题。

es可以和其他数据库组合使用吗?

Elasticsearch | 作者 youncyb | 发布于2023年06月27日 | 阅读数:2931

问题:
目前集群容量不够了,也没有预算扩容硬件,数据量在上百TB,目前有一个想法,把数据中,占比大的字段踢出去,这个字段单独用其他数据库存储,放到另一套老机器上,es只存储该字段的分词信息。

1. 这样的设计是否合理,对于查询业务来说,是否会导致更高的延迟?(相当于es每个分片占用的size变小了,是否可以提高es的搜索能力,以至于可以中和从es取出数据后,再去另一个数据库取数据?)

2. 如果可以实现,那么其他数据库有没有推荐的?分布式的最好 。
已邀请:

God_lockin

赞同来自: youncyb

可以的,不过需要修改现有存取架构,提高系统复杂度,需要综合评估
 
案例:
1. 用ES储存多维度搜索条件(如分词、标签),将数据详情存入HDFS/OSS
2. 在存储的时候只拆出索引字段进ES,其余详情进存储
3. 召回的时候通过索引字段获取HDFS的rowkey/OSS的bucket+id,在返回客户端之前(经过排序/分页)点对点的获取详情信息
 

要回复问题请先登录注册