Elasticsearch mini batch loader - 流批一体的海量索引外部构建方案

主题：Elasticsearch mini batch loader - 流批一体的海量索引外部构建方案

简介：
ES在字节跳动有着大规模的使用。为了应对实时数据的快速增长、提供极高的写入性能、降低读写资源竞争，我们基于Flink实现了在ES集群之外以mini batch的方式构建索引并传输至ES集群的方案，单节点写入速度达到每秒近百万；并通过拓展微批的语义、实现了流批融合的技术架构，在单一架构上同时支持离线、实时数据的导入。本方案相较于传统离线外部构建索引的方式，具有性能极致高效、稳定性高、轻依赖低耦合、流批一体、架构简洁等特点。本次分享将介绍期间遇到的主要困难，解决方案，以及详细的性能指标。

分享嘉宾：
汤明，字节跳动高级开发工程师