阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

开源大数据社区 阿里云 EMR 系列直播 第六期

主题 EMR spark on ACK 产品演示及最佳实践

讲师 石磊 阿里云 EMR 团队技术专家

内容框架

云原生化挑战及阿里实践Spark 容器化方案产品介绍和演示

直播回放 扫描文章底部二维码加入钉群观看回放 或进入链接https://developer.aliyun.com/live/246868

一、云原生化挑战及阿里实践大数据技术发展趋势

云原生化面临挑战计算与存储分离

如何构建以对象存储为底座的 HCFS 文件系统

完全兼容现有的 HDFS性能对标 HDFS 成本降低

shuffle 存算分离

如何解决 ACK 混合异构机型

异构机型没有本地盘社区 [Spark-25299] 讨论 支持 Spark 动态资源 成为业界共识

缓存方案

如何有效支持跨机房、跨专线混合云

需要在容器内支持缓存系统

ACK 调度

如何解决调度性能瓶颈

性能对标 Yarn多级队列管理

其他错峰调度Yarnon ACK 节点资源相互感知

阿里实践 - EMR on ACK

整体方案介绍

通过数据开发集群/调度平台提交到不同的执行平台错峰调度 根据业务高峰低峰策略调整云原生数据湖架构 ACK 弹性扩缩容能力强通过专线 云上云下混合调度ACK 管理异构机型集群 灵活性好

二、Spark 容器化方案方案介绍

RSS Q A1、为什么需要 Remote Shuffle Service RSS 使得 Spark 作业不需要 Executor Pod 挂载云盘。挂载云盘非常不利于扩展性和大规模的生产实践。云盘的大小无法事前确定 大了浪费空间 小了 Shuffle 会失败。RSS 专门为存储计算分离场景设计。Executor 将 shuffle 数据写入了 RSS 系统 RSS 系统来负责管理 shuffle 数据 Executor 空闲后即可以回收。[SPARK-25299]可以完美支持动态资源 避免数据倾斜的长尾任务拖住 Executor 资源不能释放。

2、RSS 性能如何 成本如何 扩展性如何 RSS 对于 shuffle 有很深的优化 专门为存储与计算分离场景、K8s 弹性场景而设计。针对 Shufflefetch 阶段 可以将 reduce 阶段的随机读变为顺序读 大大提升了作业的稳定性和性能。可以直接利用原有 K8s 集群中的磁盘进行部署 不需要加多余的云盘来进行 shuffle。性价比非常高 部署方式灵活。

Spark Shuffle

产生 numMapper * numReducer 个 block
顺序写、随机读
写时 Spill
单副本 丢数据需 stage 重算

EMR Remote Shuffle Service

追加写、顺序读
无写时 Spill
两副本 副本复制到内存后即完成
副本之间通过内网备份 无需公网带宽

RSS TeraSort Benchmark

备注说明 以10T Terasort 为例 shuffle 量压缩后大约 5.6T。可以看出该量级的作业在 RSS 场景下 由于 shuffle read 变为顺序读 性能会有大幅提升。

Spark on ECI 效果

Summary

对应产品介绍和演示 可以扫描文章底部钉钉群二维码 进群观看直播回放哦

也可以点击以下链接直接观看回放 https://developer.aliyun.com/live/246868

后续我们会在钉钉群定期推送精彩案例 邀请更多技术大牛直播分享。欢迎有兴趣的同学扫下方二维码加入钉钉群进行交流和技术分享。关注公众号 锁定每周精彩分享内容

本文转自网络，原文链接：https://developer.aliyun.com/article/784502
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！