使用 shuf 来打乱一个文件中的行或是选择文件中一个随机的行。

Elasticsearch 在百度 aladdin 日志系统的应用

2018-09-08 by 王鹏

王鹏,百度研发工程师,自学校毕业以来就加入百度aladdin搜索团队,至今有三年半,主要从事数据建库,索引存储和数据对外开放等工作。
当然我们有自己的检索系统,思路跟ES也有很多相似之处,17年10月份开始接触ES。
 

Elasticsearch 在百度 aladdin 日志系统的应用
背景:aladdin建库问题相关的case追查,日志统计分析,问题需要解决。
方案:使用ES(es版本: 6.0.0)做存储和检索系统,日志以json格式,抽取重要字段建索引,每天一个index,index名字包含时间后缀,保存三天内的数据;建库10个模块,每天有100亿条记录,20T左右数据;使用20个容器做集群。
效果:毫秒级返回查询结果,利用kibana实时分析建库情况,同时能方便按需提供数据给业务方。