行动是治愈恐惧的良药,而犹豫、拖延将不断滋养恐惧。

如何优化频繁变化数据

Elasticsearch | 作者 hufuman | 发布于2018年01月15日 | 阅读数:5290

比方说的索引是酒店数据,酒店的价格变化非常频繁,如果完全落地到ES里,会不会导致segment过多,进而影响ES整体性能?如果会的话,有什么解决方案吗

我们以前直接用的lucene,这种变化非常频繁的数据是放在内存里自己维护的
已邀请:

kennywu76 - Wood

赞同来自:

变化频繁也不会是每分钟变化很多次吧,我的理解一个酒店产品一天做多变化几次? 只要不是一个bulk写入批次里包含同一个产品的多次价格变化,不会导致segment过多的问题。 

luyuncheng

赞同来自:

1. 如果在刷新频率里面变化过多,可以在前置在加一层做cache,然后再统一刷入ES。
2. 频繁的更新同一个KEY,会导致deleted数量变多,如果cpu允许,可以调整段合并的参数,将合并的速度加快
3. Seg的多少可以按照2M*10 + 20M*10 + 2G*10 + 大于2.5G的个数来估算

要回复问题请先登录注册