你不会是程序猿吧?

Elasticserach集群Capacity问题

Elasticsearch | 作者 Tsukiand | 发布于2021年03月31日 | 阅读数:1785

最近被要求看一下es集群的用量情况,选定几个指标来定义es集群的用量,以便于后续做扩容的决策。但是对于这个参数的选择拿不准。
首先我觉得Index Rate可以作为一个衡量标准,每个集群都有一个Index Rate的上限,接近上限后就需要扩容。
还有一个就是内存的用量,也就是内存可以支持多少数据的存储。
 
目前想到这两个,希望大家给点建议。
 
其次就是我用esrally测试出一个Index Rate,但是目前对于Index Rate受哪些因素影响不是确定(目前知道replica个数影响)是否有一个大致估算集群Index rate上限的公式。
已邀请:

medcl - 今晚打老虎。

赞同来自:

估算不出来的,要实际压测才比较靠谱的,不过如果要压测 ES 节点的索引和查询速度极限,Rally 可能压不出来。
匿名用户

匿名用户

赞同来自:

集群容量包括内存,硬盘io,网卡流量,cpu使用率,cpu 负载和服务器系统内核相关的指标.
 索引率的最大上限肯定跟datanode数量相关啊,副本肯定会影响索引率.
 
首先就是节点数量,数量越大,索引率越高,最好是SSD硬盘,速度飞起来.
 
单纯的说集群扩容,看看到底是哪个指标出问题了,单单一个索引率是没什么实际意义的. 
 
影响索引率最大的因素就是硬盘io,网卡流量,单条数据大小. 
 
客户端是否批量,服务器端刷新间隔,最大buf,索引线程数,以及cpu的物理核心数和虚拟核心数,虚拟线程数.
 
 
 
 
 
 
 
 

zqc0512 - andy zhou

赞同来自:

还是从业务出发,入库需求,还是查询需求等等
根据业务来进行评估,开监控 查看整个集群性能变化,看瓶颈在怎么地方才可以好优化

要回复问题请先登录注册