三人行必有我师

请教ES索引写效率问题

Elasticsearch | 作者 zhengchar | 发布于2020年08月19日 | 阅读数:1357

求教各位大佬,在日志场景中,不同的业务拥有相同的日志结构。现在写入ES时是所有业务的数据都写到一个ES索引中(因为数据mapping都一致),该索引按大小及时间滚动写入效率高还是按业务区分不同的索引,不同的业务分别写入不同的索引中效率高?我理解写入同一个索引中的话如果按照大小和时间滚动在查询时能确定具体的时间范围减小扫描范围也不会影响检索性能,同时按大小及时间滚动对于分片的分配和整合更易于管理。想请教下各位大佬的看法,感谢支持!!
已邀请:

AiToMaKoTo - Elasticsearch.永远滴神

赞同来自: zhengchar

这要按你的业务需求来:
1.如果你的这个日志对搜索实时要求比较高,搜索比较频繁,那最好是按照大小以及时间来滚动索引,把分片控制在40G左右,设置统一别名
2.如果你的日志对搜索没有那么高要求,那就可以按照业务来滚动索引,可以将单个分片的大小设置大点,50G~60G都可以,单个索引可以多设置些分片

pony_maggie - 公众号:犀牛饲养员的技术笔记

赞同来自:

按业务区分索引,每个业务索引rollover按日期滚动
匿名用户

匿名用户

赞同来自:

数据量和并发量是前提。

要回复问题请先登录注册