身安不如心安,屋宽不如心宽 。

日志系统,大家如何做容量管理?

Elasticsearch | 作者 shjdwxy | 发布于2017年06月29日 | 阅读数:4543

在基于es实现的日志系统中,大家如何做容量管理的?
比方说一个应用的单日日志量非常大(500G+),对于这种情况大家如何处理?
  • 日志采样
  • 减少应用生成的日志量
  • 不做限制

 
因为es集群的资源毕竟是有限的,所以非常有必要做数据量的限制,想问问大家是如何管理的?
已邀请:

shinehiy

赞同来自:

1. 采样这个没有看到业界有好的方案,但是看到三斗室大神那边,有个log reduce,但貌似没有找到相关算法,自己搞了一个用minhash、simhash来做日志合并的,可以试着按这个思路试试;
2. 减少日志量,你要和开发沟通了,日志级别,日志打点间隔;
3. 数据量降不下来,建议加机器吧

要回复问题请先登录注册