悟空,拿我的打狗棒来
今日头条

今日头条

【深圳ES Meetup】字节跳动黄杨锋:从0到1构建 ES 服务平台的挑战

活动nodexy 发表了文章 • 0 个评论 • 4045 次浏览 • 2019-11-13 09:07 • 来自相关话题

11月16日 Elastic 中文社区深圳 Meetup 上,黄杨锋将为大家分享基于K8S的ES服务平台在头条的实践。借此机会,我们邀请到他聊聊从0到1构建ES服务平台遇到的痛点、解决方案以及未来的规划。 分享嘉宾 黄杨锋 高级工程师 @字节跳动 目前在头条深圳负责ES服务平台相关的研发工作;此前曾就职于华为、YY、腾讯等企业,在腾讯基于ES做微信支付数据的检索。 Q1、从0到1构建 ES 服务平台的过程中有哪些痛点?分别是如何解决的? A:(1)需要隔离,远离大集群,是通过 k8s来解决。       (2)性能分析方面相对还比较薄弱 ,打算增加metric和trace日志来看看具体耗时。 Q2、在 ES 服务平台方面未来还有什么样的规划? A:相关规划详见下图
CAPTURE_20191113_90835.jpg
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A: ES 发展很快,周边生态也越来越丰富,希望 ES 在快速发展的过程中,更加注重查询性能的优化提升,以及集群的稳定性。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期望看到性能优化、机器学习相关的最新进展。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:(1)ES 在中国程序员中的影响力感觉可以加强,希望可以做到像 Google/Amazon 在中国程序员群体上那样有很大的影响力;       (2)希望官方出一些内核相关的书籍或文章;       (3)希望价钱可以再调低点。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 主题分享:《基于K8S的ES服务平台在头条的实践介绍》黄杨锋 主题摘要:ES 服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍 ES 服务平台从 0 到 1 的创建过程中所做的一些工作,包括 K8S 碰到的一些难点、ES 功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png

访谈:Elastic 在今日头条广告系统中的大规模应用

Podcastmedcl 发表了文章 • 0 个评论 • 3292 次浏览 • 2018-11-03 02:24 • 来自相关话题

欢迎来到 Elastic 社区电台的第七期节目,我们本期节目的嘉宾是来自于今日头条广告系统的工程师徐磊和张海雷,今日头条作为业界非常流行的新闻资讯类软件,坐拥上亿互联网用户,其内部目前正大量使用了 Elasticsearch 来解决各式各样的业务问题,最早从15年开始的接触,到如今多达几十个集群的规模,以及成为公司平台化的基础服务,承载着PB级规模的数据,快来收听本期节目来一探究竟吧。

嘉宾

  • 张海雷,今日头条广告系统研发工程师,现负责ES平台的运维以及平台化建设。
  • 徐磊,今日头条广告系统研发工程师,有3年大规模ELK集群运维及平台化经验。

podcast_toutiao_banner720x420.jpg

主持人

Elastic 技术布道师,曾勇(Medcl)。

收听

可以点击下面的任意链接来收听(时长约 34 分钟):

关于今日头条

北京字节跳动科技有限公司成立于2012年3月,公司的主要产品“今日头条”客户端,是一款基于数据挖掘技术的个性化推荐引擎产品。“今日头条”致力于帮助用户在移动互联网上方便快捷地获取最有价值的信息,它会根据用户的兴趣为其推荐内容,这是对传统信息分发方式的一次巨大颠覆

“今日头条”面市后,迅速获得市场认可,长期占据苹果应用商店新闻类榜首。目前已有超过160万个个人、组织开设头条号。

关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。

【深圳ES Meetup】字节跳动黄杨锋:从0到1构建 ES 服务平台的挑战

活动nodexy 发表了文章 • 0 个评论 • 4045 次浏览 • 2019-11-13 09:07 • 来自相关话题

11月16日 Elastic 中文社区深圳 Meetup 上,黄杨锋将为大家分享基于K8S的ES服务平台在头条的实践。借此机会,我们邀请到他聊聊从0到1构建ES服务平台遇到的痛点、解决方案以及未来的规划。 分享嘉宾 黄杨锋 高级工程师 @字节跳动 目前在头条深圳负责ES服务平台相关的研发工作;此前曾就职于华为、YY、腾讯等企业,在腾讯基于ES做微信支付数据的检索。 Q1、从0到1构建 ES 服务平台的过程中有哪些痛点?分别是如何解决的? A:(1)需要隔离,远离大集群,是通过 k8s来解决。       (2)性能分析方面相对还比较薄弱 ,打算增加metric和trace日志来看看具体耗时。 Q2、在 ES 服务平台方面未来还有什么样的规划? A:相关规划详见下图
CAPTURE_20191113_90835.jpg
Q3、结合您的实践经历,对 ES 目前的生态发展、应用以及未来有什么样的看法? A: ES 发展很快,周边生态也越来越丰富,希望 ES 在快速发展的过程中,更加注重查询性能的优化提升,以及集群的稳定性。 Q4、您对本次技术沙龙活动的主题分享有什么期待? A:期望看到性能优化、机器学习相关的最新进展。 Q5、您对 Elastic 中文社区发展有什么意见或建议呢? A:(1)ES 在中国程序员中的影响力感觉可以加强,希望可以做到像 Google/Amazon 在中国程序员群体上那样有很大的影响力;       (2)希望官方出一些内核相关的书籍或文章;       (3)希望价钱可以再调低点。 11月16日 Elastic 中文社区深圳 Meetup 火热报名中 主题分享:《基于K8S的ES服务平台在头条的实践介绍》黄杨锋 主题摘要:ES 服务平台自上线以来,已经接入了头条、抖音等众多业务。本次分享将介绍 ES 服务平台从 0 到 1 的创建过程中所做的一些工作,包括 K8S 碰到的一些难点、ES 功能的增强、跨机房容灾、全栈监控告警、自动化部署等功能。
b89578fa-29bc-49c3-a515-837cf1dcf7c3.png

访谈:Elastic 在今日头条广告系统中的大规模应用

Podcastmedcl 发表了文章 • 0 个评论 • 3292 次浏览 • 2018-11-03 02:24 • 来自相关话题

欢迎来到 Elastic 社区电台的第七期节目,我们本期节目的嘉宾是来自于今日头条广告系统的工程师徐磊和张海雷,今日头条作为业界非常流行的新闻资讯类软件,坐拥上亿互联网用户,其内部目前正大量使用了 Elasticsearch 来解决各式各样的业务问题,最早从15年开始的接触,到如今多达几十个集群的规模,以及成为公司平台化的基础服务,承载着PB级规模的数据,快来收听本期节目来一探究竟吧。

嘉宾

  • 张海雷,今日头条广告系统研发工程师,现负责ES平台的运维以及平台化建设。
  • 徐磊,今日头条广告系统研发工程师,有3年大规模ELK集群运维及平台化经验。

podcast_toutiao_banner720x420.jpg

主持人

Elastic 技术布道师,曾勇(Medcl)。

收听

可以点击下面的任意链接来收听(时长约 34 分钟):

关于今日头条

北京字节跳动科技有限公司成立于2012年3月,公司的主要产品“今日头条”客户端,是一款基于数据挖掘技术的个性化推荐引擎产品。“今日头条”致力于帮助用户在移动互联网上方便快捷地获取最有价值的信息,它会根据用户的兴趣为其推荐内容,这是对传统信息分发方式的一次巨大颠覆

“今日头条”面市后,迅速获得市场认可,长期占据苹果应用商店新闻类榜首。目前已有超过160万个个人、组织开设头条号。

关于 Elastic 社区电台

Elastic 开源社区举办的一款播客类节目, 邀请来自开源社区的用户,一起聊聊 Elastic 开源产品的使用案例、经验分享、架构变迁等等。