橡皮、老虎皮、狮子皮哪一个最不好?

logstash 或者ELK 本身可以实现日志的去重筛选之类的需求吗?

Logstash | 作者 chachabusi | 发布于2018年07月18日 | 阅读数:3697

有个比较特殊的需求
60.174.192.224|-|18/Jul/2018:09:28:55 +0800]|GET /redishandle.ws/oc/getOrderData/PSH806?timestamp=1531877335234&sign=BF9CD50BCAAAC4C8C4FC359AD03E30BD HTTP/1.0|ocdmzzr.kfc.com.cn|200|24|-|Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)|-|0.002|172.31.61.109:80|200|0.002
 
一条生产日志 
需求是PSH806这个是店编号,我希望可以获得最近20万条里没有出现过的店编号,并把他取出来
 
已邀请:

zqc0512 - andy zhou

赞同来自:

需要是全部存还是部分存? logstash也可以按照你的要求过滤,保存那些数据,不保存那些数据。kibana可以搞定,string not in 
通过search api也可以搞定,
 

要回复问题请先登录注册