不要急,总有办法的

滴滴Elasticsearch集群跨版本升级以及平台重构​​

2019-12-07 by 赵情融


赵情融
滴滴出行 专家工程师
2018加入滴滴,现任专家工程师一职,滴滴搜索团队负责人,全面负责滴滴搜索平台的建设工作。在加入滴滴之前,在阿里巴巴工作多年,有丰富的平台建设经验。

演讲:滴滴Elasticsearch集群跨版本升级以及平台重构​​
2019年滴滴ES团队将维护的30多个ES集群,3500多个ES节点,8PB的数据,从2.3.3跨大版本无缝升级到6.6.1。 在对用户查询写入基本零影响和改动的前提下,解决了ES跨大版本协议不兼容、文件格式不兼容、mapping不兼容等难题,整个过程对绝大部分用户完全透明。 同时还完成了Arius的架构升级,取得了单机查询性能提升40%,整体集群cpu下降10%,写入tps提升30%,集群资源使用率提升20%、0故障、运维成本下降60%的成绩,并在引擎上进行了一系列定制开发,并向社区贡献了4个PR。