三人行必有我师

ES Cross Cluster Search 生产实践

2018-07-21 by 刘佳

刘佳,携程旅行网 技术保障部系统研发专家。
全栈工程师,开源工具 hangout 作者: ( http://www.github.com/childe/ )
 

ES Cross Cluster Search 生产实践

1. 日志集群规模
230台物理机, 440数据节点. 超过4万shards.
2. 痛点
2.1 meta信息太多, 全量更新压力大, 经常超时
2.2 单节点过载, 影响整个集群的状态更新
3. 分集群
3.1 利弊
3.1.1 利: 解决上述痛点
3.1.2 弊: 更复杂的架构,带来更多可能的隐患, 额外的开发和运维成本
3.2 架构
3.2.1 暂略
4. 一些注意点
4.1 ignore_unavailable 参数
4.2 一个集群挂掉, cross cluster就不能工作