ES百亿数据量集群node和索引shard数量选择

Elasticsearch | 作者 momo898821 | 发布于2016年11月14日 | 阅读数：16218

每台物理机256G内存，24core 百亿级数据量，数据会一直增长。如果使用5个节点，设置多少个shard最优。
使用3个节点，5个分片时候，分组聚合查询要好几分钟，速度太慢。

4 个回复

1，磁盘使用ssd,raid0+1,5。
2，确定你们的业务是重点，是读的业务多还是写的业务多？
3，百亿数据，放在数据库的量是多少？ 1T ？如果是1T，一个分片100G，建议你最少 shards 10-15, replicas可以0-1.最少5服务器个节点。服务器以后好扩容
4，es优化。这一块自己考虑了！

gfswsry - 80后IT

赞同来自: vincentKing

shard数可以根据你挂载的磁盘数来确定；多建副本；将node.master,node.data都设置成false，据说可以提高返回速度；百亿数据量的，我个人经验需要更多的ES节点

momo898821

谢谢你的回答。
我还有一些疑问：
1、增加shard数量和增加副本数量这两个哪个可以提高查询性能，尤其是聚合查询。
2、node.master node.data都设置成false会不会有问题，如果某一台节点挂掉或者master挂掉会不会导致集群挂掉。

jrong

您好，麻烦问一下，你们最终确定分片数了吗

要回复问题请先登录或注册

ES百亿数据量集群node和索引shard数量选择

4 个回复

发起人

活动推荐

相关问题

问题状态

ES百亿数据量集群node和索引shard数量选择

与内容相关的链接

4 个回复

发起人

活动推荐

相关问题

问题状态