橡皮、老虎皮、狮子皮哪一个最不好?

TB级数据查询性能怎么优化

Elasticsearch | 作者 mai | 发布于2019年07月08日 | 阅读数:3034

大概10几TB的数据,要求查询时间在2s以内,可以实现吗,应该怎么进行优化?
现在的数据量只有10几G,查询测试大概满足要求,但不是很稳定,以后数据扩展到10几TB,肯定就满足不了了。
已邀请:

ziyou - 一个学习ELK的Java程序员

赞同来自: mai

看楼上你的机器配置,很明显你是没有上生产环境的,这个机器配置严重的不合理,其中内存太小,硬盘太大了,根据你的使用需求,你可以多加几台机器,机器的数量多了以后性能会好些,但是每台机器的内存可以放到32G-64G,当然了,如果你的机器特别多,也是可以放到16G的。硬盘的话,每台机器的硬盘根据你的内存大小来配置,建议不要超过2T。这是从硬件上来说的,想要性能好,软件设计上就依照@ridethewind说的就行。

envy666

赞同来自:

上机器呗

ridethewind

赞同来自:

建议从以下的几个方面去考虑:
1. 根据业务的字段合理的设置_routing 
2. 合理的定义mappings,该用keyword还是该用text,该用什么分词器,不参与检索的字段不要分词
3. 查询范围尽可能小
4. 只读索引及时段合并
 
 

mai - 90后研究生

赞同来自:

1562567682(1).jpg

 

zqc0512 - andy zhou

赞同来自:

单盘太大了,建议多几个盘 内存小了才10G 

要回复问题请先登录注册