最近被要求看一下es集群的用量情况,选定几个指标来定义es集群的用量,以便于后续做扩容的决策。但是对于这个参数的选择拿不准。
首先我觉得Index Rate可以作为一个衡量标准,每个集群都有一个Index Rate的上限,接近上限后就需要扩容。
还有一个就是内存的用量,也就是内存可以支持多少数据的存储。
目前想到这两个,希望大家给点建议。
其次就是我用esrally测试出一个Index Rate,但是目前对于Index Rate受哪些因素影响不是确定(目前知道replica个数影响)是否有一个大致估算集群Index rate上限的公式。
首先我觉得Index Rate可以作为一个衡量标准,每个集群都有一个Index Rate的上限,接近上限后就需要扩容。
还有一个就是内存的用量,也就是内存可以支持多少数据的存储。
目前想到这两个,希望大家给点建议。
其次就是我用esrally测试出一个Index Rate,但是目前对于Index Rate受哪些因素影响不是确定(目前知道replica个数影响)是否有一个大致估算集群Index rate上限的公式。
3 个回复
medcl - 今晚打老虎。
赞同来自:
匿名用户
赞同来自:
索引率的最大上限肯定跟datanode数量相关啊,副本肯定会影响索引率.
首先就是节点数量,数量越大,索引率越高,最好是SSD硬盘,速度飞起来.
单纯的说集群扩容,看看到底是哪个指标出问题了,单单一个索引率是没什么实际意义的.
影响索引率最大的因素就是硬盘io,网卡流量,单条数据大小.
客户端是否批量,服务器端刷新间隔,最大buf,索引线程数,以及cpu的物理核心数和虚拟核心数,虚拟线程数.
zqc0512 - andy zhou
赞同来自:
根据业务来进行评估,开监控 查看整个集群性能变化,看瓶颈在怎么地方才可以好优化