你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

logstash 并联可以实现负载均衡，发送数据到ES集群吗？

Logstash | 作者 sun_changlong | 发布于2018年07月12日 | 阅读数：5963

分享到：QQ空间新浪微博微信 QQ好友印象笔记有道云笔记

filebeat 可以通过配置实现负载均衡，那么logstash 并联多分发以后，如何实现数据到 ES集群能够达到负载均衡的效果呢？
logstash 多分发，同一条数据到达每个ES 都是一样的，岂不是造成了数据重复？
有大佬知道原理吗？

1 个回复

rochy - rochy_he

赞同来自: sun_changlong

如果一定要使用 logstash 并联的话，可以考虑在 logstash 前面加一层 kafka集群，在输入配置中，设置kafka消费的topic一致即可保证数据不会重复。

如果仅仅是实现写入 ES 的负载均衡， logstash 的输出本身是支持的，设置字段 elasticsearch.hosts 为 ES 节点 IP:PORT 数组即可

可以参考：https://www.elastic.co/guide/e ... onfig

要回复问题请先登录或注册

logstash 并联可以实现负载均衡，发送数据到ES集群吗？

1 个回复

发起人

活动推荐

相关问题

问题状态

logstash 并联可以实现 负载均衡，发送数据到ES集群吗？

与内容相关的链接

1 个回复

发起人

活动推荐

相关问题

问题状态

logstash 并联可以实现负载均衡，发送数据到ES集群吗？