集群18T数据,138亿条,994个索引,全索引全字段下搜索某名字,查询时间为4-10S,可以从哪些角度去优化
Elasticsearch | 作者 wudingmei1024 | 发布于2018年10月25日 | 阅读数:3446
ES版本6.1.3
5台256G机器集群, 安装了4个节点,每个节点5个实例,每个节点内存均配置为31G内存
集群下有18T数据,994个索引,每个索引的数据大小不均衡,有2T的,有几百G的不等
索引设置的分词器为:ik_max_word
索引已关闭:_all
每个索引分片大小不超过20G
对全索引,全字段进行某个中文名字的全文检索:如下所示
{
“query”:{
"query_string":{
"query":"张三"
}
}
“size”:10
}
第一次搜索时耗时29S,后来进行后台索引段合并。搜索时间缩减到4-10S
开启慢查询日志后,发现不同的索引查询时间差距很大,有些1-2S,有些100ms左右。
请问一下,还有那些可以优化的方向,可以提供参考
5台256G机器集群, 安装了4个节点,每个节点5个实例,每个节点内存均配置为31G内存
集群下有18T数据,994个索引,每个索引的数据大小不均衡,有2T的,有几百G的不等
索引设置的分词器为:ik_max_word
索引已关闭:_all
每个索引分片大小不超过20G
对全索引,全字段进行某个中文名字的全文检索:如下所示
{
“query”:{
"query_string":{
"query":"张三"
}
}
“size”:10
}
第一次搜索时耗时29S,后来进行后台索引段合并。搜索时间缩减到4-10S
开启慢查询日志后,发现不同的索引查询时间差距很大,有些1-2S,有些100ms左右。
请问一下,还有那些可以优化的方向,可以提供参考
3 个回复
kennywu76 - Wood
赞同来自: juin 、wudingmei1024 、Dapor
wudingmei1024 - ES菜鸟
赞同来自:
zqc0512 - andy zhou
赞同来自:
感觉整体设计有问题……