你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
发现
分享
文章
活动
登录
悟空,拿我的打狗棒来
关于es的消重
Elasticsearch
| 作者
novia
| 发布于2016年08月29日 | 阅读数:
4379
分享到:
QQ空间
新浪微博
微信
QQ好友
印象笔记
有道云笔记
需求:利用es中的一个非ID字段入库时消重,有做过这方面的吗?
没有找到相关结果
已邀请:
与内容相关的链接
提交
7 个回复
leighton_buaa
赞同来自:
不清楚你说的消重具体指什么?
如果是两个相同的doc,那你用程序指定相同的doc_id就可以了,这样index时根据相同的_id就会覆盖之前的doc
novia
-
1&0
赞同来自:
不是_id,是另外一个非ID字段,我们的需求很特殊,已经有id覆盖,但还需要通过另外一个字段实时消重
不想用redis
novia
-
1&0
赞同来自:
不知道es本身有没有可以利用的地方
leighton_buaa
赞同来自:
能不能换一种思路?不需要去重,但是在查询时加入过滤条件,得到去重的结果?
novia
-
1&0
赞同来自:
嗯,现在有两种想法,第一:就是从存储方面消重,这样外部的系统不用考虑重复
第二:就是您说的这种,依靠外部消重
目前还是想找出第一种思路的解决方案,如果用锁+存在判断+入库,可能性能会有问题
leighton_buaa
赞同来自:
入库ES如果采用Logstash的话,可以考虑ruby filter
novia
-
1&0
赞同来自:
是直接java操作的es,不过我可以参考下ruby filter,感谢!
要回复问题请先
登录
或
注册
发起人
novia
1&0
活动推荐
Aug
15
2025 Zabbix 中国峰会
上海
·
8-15 周五
·
报名中
Oct
17
第27届 GOPS 全球运维大会暨研运数智化技术峰会 · 上海站
上海
·
10-17 周五
·
报名中
问题状态
最新活动:
2016-08-30 09:40
浏览:
4379
关注:
3
人
7 个回复
leighton_buaa
赞同来自:
如果是两个相同的doc,那你用程序指定相同的doc_id就可以了,这样index时根据相同的_id就会覆盖之前的doc
novia - 1&0
赞同来自:
不想用redis
novia - 1&0
赞同来自:
leighton_buaa
赞同来自:
novia - 1&0
赞同来自:
第二:就是您说的这种,依靠外部消重
目前还是想找出第一种思路的解决方案,如果用锁+存在判断+入库,可能性能会有问题
leighton_buaa
赞同来自:
novia - 1&0
赞同来自: