你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!

Spark+ES做推荐系统如何能够保障计算向数据靠拢的资源管理优化方案

Elasticsearch | 作者 melfebulu | 发布于2019年08月16日 | 阅读数：1858

Spark集群+ES集群做推荐系统如何能够保障计算向数据靠拢的资源管理优化方案，es on yarn 在6.0之后就取消了，现在怎么做yarn和es的混部呢？es的资源管理是自己的，spark用yarn的话怎么搞？

2 个回复

laoyang360 - 《一本书讲透Elasticsearch》作者，Elastic认证工程师 [死磕Elasitcsearch]知识星球地址：http://t.cn/RmwM3N9；微信公众号：铭毅天下; 博客：https://elastic.blog.csdn.net

借助es-hadoop实现整合

es-hadoop 里面现在只是有spark跟es之间的数据调用接口 6.0之后的es on yarn已经没有了，看现在是可以做 es on k8s，如果用k8s来作为资源调度管理 spark和es，是不是可以达到分布式存储和分布式计算时候，计算向数据靠拢的资源调配呢？没有实操过，求问经验

要回复问题请先登录或注册