产品特性

开源稳定

提供高性能、高稳定性、按需灵活搭配的 Hive、Spark、Presto、HBase、Flink、Iceberg、Alluxio 等丰富开源大数据组件。

组件增强

基于开源组件深度优化其性能及功能，提供Spark物化视图、Alluxio透明加速、Iceberg Z-Order算法等优化技术。

高效运维

提供云原生一体化丰富的监控指标、自定义配置告警，支持重要事件及作业现场快照回溯，大幅缩减排障路径，提升运维效率。

资源弹性

可按时间或负载自动、平滑扩缩集群计算资源，分钟级扩充海量算力，助力企业高效应对复杂多变的业务场景。

安全可靠

VPC 网络隔离和安全组保证网络安全可信，支持 Kerberos 身份认证，支持基于 Ranger 对本地及COS数据细粒度权限管控。

综合降本

资源按需使用，降低闲置成本；易于部署及维护，降低运维成本；支持竞价实例、混合计费，可进一步精细化管理成本支出。

应用场景

  • 大数据迁移上云
  • 云原生数据湖构建
  • 离线数据分析
  • 在线业务查询
  • 流式数据处理

简介

基于IDC及其他开源Hadoop发行版软件自建的大数据平台，面临技术栈复杂、组件版本滞后、维护成本高、技术支持不足等挑战。EMR具备平滑的迁移能力，提供丰富的迁移工具，可快速于云上构建更前沿、稳定、高性能、低成本的云原生大数据平台。

优势

  • 组件开源兼容，平滑迁移
  • 云原生架构升级，增效降本
  • 持续缺陷修复、专业技术支持
  • Sentry迁移Ranger等丰富工具

产品规格

Hadoop分析集群
大数据分布式系统基础框架，适用于离线/实时分析等各类大数据场景。
立即购买
Druid集群
面向实时分析的列式存储引擎，适用于高并发实时分析等场景。
立即购买
StarRocks集群
极速统一的OLAP分析数据库，适用多维分析，实时分析，高并发等场景。
立即购买

弹性 MapReduce与自建Hadoop集群对比

对比维度
腾讯云-弹性MapReduce
自建Hadoop集群
成本
  • 计算资源弹性使用，数据可分层存储，提升资源利用率，降低闲置成本。
  • 无需额外操作系统及软件Licenese费用。
  • 资源需提前预估，且无法弹性，导致利用率低，成本高。
  • 购买商业Hadoop发行版软件，需额外支付昂贵的Licenese费用。
性能
  • 基于社区开源组件增强，如Iceberg提供Z-Order优化可提升场景化性能10倍以上。
  • 与基础设施深度融合，提供更高的性能表现。
  • 组件采用开源社区版本，性能需自行优化。
  • 无法快速整合基础设施，参数需自行调优。
维护
  • 基于开源组件持续加固，发行版本经过专业的兼容性验证测试，提供优于社区版本的稳定性体验。
  • 控制台提供丰富的运维、监控能力，帮助业务团队和运维团队快速定位和解决任务运行问题。
  • 采用开源社区的版本，需自行处理兼容性问题及bug修复。
  • 基于hadoop自建需自行搭建运维监控，基于开源发行版缺乏有效支持。
弹性
  • 集群计算资源可按时间或负载自动、平滑扩缩，分钟级扩充海量算力。
  • 支持通过 API 方式分钟级在程序中创建、销毁 EMR 集群，灵活支持临时作业。
  • 计算存储资源耦合，且资源相对固定，无法根据业务的潮汐效应，进行资源的弹性扩缩容。
安全
  • 提供认证、权限管控、审计等全方位安全能力，可对文件、任务、表、列的权限控制功能。
  • Ranger、Kerberos、ladp等安全能力需自行构建，复杂度高，组件适配等不完整。
可靠
  • 众多头部客户及腾讯内部大规模、企业级环境的长期稳定验证。
  • 支持跨AZ部署、HDFS联邦、KDC&Ranger共享等高阶管理能力。
  • 仅能覆盖基本场景测试，缺乏大规模、企业级长期稳定验证。
  • 高阶管理能力建设、运维成本高。
生态
  • 与云监控、云审计、数据开发平台、对象存储等云上生态产品便捷搭配使用，快速构建云上企业智能生态。
  • 配套能力需自行构建，成本高周期长。

产品路线图

查看更多

认证与实践

腾讯云大数据开发工程师认证
针对大数据开发人员的高级技能认证, 通过该认证, 可有效验证您是否具备基于腾讯云 EMR 产品开通、部署和使用 Hadoop 大数据系统的能力。
查看详情
EMR 实践课程
依托国内电商巨头的真实业务场景，基于腾讯云 EMR 搭建实时数据仓库、离线数据仓库。通过本项目的学习，可以掌握腾讯云 EMR 服务组件的使用和调优。
查看详情

常见问题

  • 一般常见问题
  • 计费

使用弹性 MapReduce 相比传统 Hadoop 的优势是？

传统 Hadoop 使用中机器资源固定，绝大部分时间计算资源限制，利用云上的弹性 MapReduce 可以按需获取计算资源，利用计算存储分离，可以将计算资源的生命周期与存储资源的生命周期解耦。

如何在弹性 MapReduce 中实现计算存储分离？

什么是 Task 节点？是否需要数据盘？

更多问题请查看 常见问题，也可在 问答社区 中进行提问 。

我们致力于为您提供个性化的售前购买咨询服务，以及全面的技术售后服务。
开始使用
\r\n \r\n \r\n \r\n
\r\n
\r\n
\r\n
\r\n 对比维度\r\n
\r\n
\r\n 腾讯云-弹性MapReduce\r\n
\r\n
\r\n 自建Hadoop集群\r\n
\r\n
\r\n
\r\n
\r\n 成本\r\n
\r\n
\r\n
    \r\n
  • 计算资源弹性使用，数据可分层存储，提升资源利用率，降低闲置成本。
    • \r\n
  • 无需额外操作系统及软件Licenese费用。
    • \r\n
\r\n
\r\n
\r\n
    \r\n
  • 资源需提前预估，且无法弹性，导致利用率低，成本高。
    • \r\n
  • 购买商业Hadoop发行版软件，需额外支付昂贵的Licenese费用。
    • \r\n
\r\n
\r\n
\r\n
\r\n
\r\n 性能\r\n
\r\n
\r\n
    \r\n
  • 基于社区开源组件增强，如Iceberg提供Z-Order优化可提升场景化性能10倍以上。
    • \r\n
  • 与基础设施深度融合，提供更高的性能表现。
    • \r\n
\r\n
\r\n
\r\n
    \r\n
  • 组件采用开源社区版本，性能需自行优化。
    • \r\n
  • 无法快速整合基础设施，参数需自行调优。
    • \r\n
\r\n
\r\n
\r\n
\r\n
\r\n 维护\r\n
\r\n
\r\n
    \r\n
  • 基于开源组件持续加固，发行版本经过专业的兼容性验证测试，提供优于社区版本的稳定性体验。
    • \r\n
  • 控制台提供丰富的运维、监控能力，帮助业务团队和运维团队快速定位和解决任务运行问题。
    • \r\n
\r\n
\r\n
\r\n
    \r\n
  • 采用开源社区的版本，需自行处理兼容性问题及bug修复。
    • \r\n
  • 基于hadoop自建需自行搭建运维监控，基于开源发行版缺乏有效支持。
    • \r\n
\r\n
\r\n
\r\n
\r\n
\r\n 弹性\r\n
\r\n
\r\n
    \r\n
  • 集群计算资源可按时间或负载自动、平滑扩缩，分钟级扩充海量算力。
    • \r\n
  • 支持通过 API 方式分钟级在程序中创建、销毁 EMR 集群，灵活支持临时作业。
    • \r\n
\r\n
\r\n
\r\n
    \r\n
  • 计算存储资源耦合，且资源相对固定，无法根据业务的潮汐效应，进行资源的弹性扩缩容。
    • \r\n
\r\n
\r\n
\r\n
\r\n
\r\n 安全\r\n
\r\n
\r\n
    \r\n
  • 提供认证、权限管控、审计等全方位安全能力，可对文件、任务、表、列的权限控制功能。
    • \r\n
\r\n
\r\n
\r\n
    \r\n
  • Ranger、Kerberos、ladp等安全能力需自行构建，复杂度高，组件适配等不完整。
    • \r\n
\r\n
\r\n
\r\n
\r\n
\r\n 可靠\r\n
\r\n
\r\n
    \r\n
  • 众多头部客户及腾讯内部大规模、企业级环境的长期稳定验证。
    • \r\n
  • 支持跨AZ部署、HDFS联邦、KDC&Ranger共享等高阶管理能力。
    • \r\n
\r\n
\r\n
\r\n
    \r\n
  • 仅能覆盖基本场景测试，缺乏大规模、企业级长期稳定验证。
    • \r\n
  • 高阶管理能力建设、运维成本高。
    • \r\n
\r\n
\r\n
\r\n
\r\n
\r\n 生态\r\n
\r\n
\r\n
    \r\n
  • 与云监控、云审计、数据开发平台、对象存储等云上生态产品便捷搭配使用，快速构建云上企业智能生态。
    • \r\n
\r\n
\r\n
\r\n
    \r\n
  • 配套能力需自行构建，成本高周期长。
    • \r\n
\r\n
\r\n
\r\n
\r\n
\r\n \r\n"},"logics":[],"id":"MCTPCf51u","collection":{"header":[{"kind":"block","name":"section-header","data":{"title":"弹性 MapReduce与自建Hadoop集群对比","anchorTitle":"与自建集群对比"},"logics":[],"id":"Eu1MZyIdzn","collection":{}}]}},{"kind":"block","name":"roadmap","data":{},"logics":[],"id":"EUPBEDesB","collection":{"header":[{"kind":"block","name":"section-header","data":{"title":"产品路线图","links":[{"title":"查看更多","to":"?product/events"}]},"logics":[],"id":"UHHHjjajeO","collection":{}}]},"className":"bg-gray"},{"kind":"block","name":"resource-list","data":{"columns":2,"list":[{"title":"腾讯云大数据开发工程师认证","desc":"针对大数据开发人员的高级技能认证, 通过该认证, 可有效验证您是否具备基于腾讯云 EMR 产品开通、部署和使用 Hadoop 大数据系统的能力。","links":[],"footer":{"title":"查看详情","to":"?edu/training/cert/detail?type=Big_Data"},"__vid__":"GU2r6RBeK43pmygMxTv0z"},{"title":"EMR 实践课程","desc":"依托国内电商巨头的真实业务场景，基于腾讯云 EMR 搭建实时数据仓库、离线数据仓库。通过本项目的学习，可以掌握腾讯云 EMR 服务组件的使用和调优。","links":[],"footer":{"title":"查看详情","to":"?developer/special/developerclass"},"__vid__":"IwKgYCTlRC_hLyIMPaZK6"}]},"logics":[],"id":"SoeqMc1SD","collection":{"header":[{"kind":"block","name":"section-header","data":{"title":"认证与实践"},"logics":[],"id":"ReIiWx1E5u","collection":{}}]}},{"kind":"block","name":"documents","data":{"documents":[{"title":"产品简介","desc":"帮助您快速了解弹性 MapReduce 产品的定位、概述、优势以及具体功能。","to":"?document/product/589/10813","__vid__":"iKdDvp0qkvpMMvpWma4kz"},{"title":"新手指引","desc":"本文将为刚入门弹性 MapReduce（EMR）的用户提供一条学习的路径。","to":"?document/product/589/44606","__vid__":"To4nI9dQDCNYzp0XS2noU"},{"title":"快速入门","desc":"EMR 集群提供五种集群类型，可根据实际业务需要选择集群类型。","to":"?document/product/589/10982","__vid__":"Raqw1C7cC9QTjlf3Qp3Kl"},{"title":"购买指南","desc":"弹性 MapReduce 提供三种计费模式：包年包月、按量计费、混合计费。","to":"?document/product/589/19098","__vid__":"99kF2gJfqIwzKJj46UVfe"},{"title":"开发指南","desc":"Hive、Spark、HBase、Flink、StarRocks、Iceberg等开源大数据组件开发实践。","to":"?document/product/589/12289","__vid__":"AwqjiVJYouj9_Eb4hmblF"},{"title":"数据迁移","desc":"数据迁移目前支持通过 COS 中转与自建 HDFS 通过 DistCp 方式迁移。","to":"?document/product/589/12343","__vid__":"8G6f35qNGq4-bCa13Dfdr"}],"aside":{"title":"操作指南","content":"腾讯云 CVM 提供按量计费和包年包月两种计费模式，您可以灵活选择付费方式，按量计费只需为您实际消耗的资源付费，按小时结算；包年包月适合业务量稳定的场景，费用更低廉。","links":[{"title":"集群配置","to":"?document/product/589/35655","__vid__":"tO4AddeMAYiOZRSNrsyoc"},{"title":"集群管理","to":"?document/product/589/39085","__vid__":"38R6x0rpQjEXYV7wqMUN1"},{"title":"管理服务","to":"?document/product/589/34366","__vid__":"K8wDT5PXfNQ3-gOsWYT9V"},{"title":"管理资源","to":"?document/product/589/34367","__vid__":"WvA_hBUKnmZEmYqDsC_3p"},{"title":"监控告警","to":"?document/product/589/40411","__vid__":"jM5lNRoapjCXU-2s_IZsi"}],"desc":"弹性 MapReduce 控制台功能操作介绍。"}},"logics":[],"id":"h3EFCAoS2","collection":{"header":[{"kind":"block","name":"section-header","data":{"title":"帮助与文档"},"logics":[],"id":"L33WK_jNL8","collection":{}}]},"className":"bg-gray"},{"kind":"block","name":"faqs","data":{"groups":[{"id":"1","label":"一般常见问题","list":[{"question":"使用弹性 MapReduce 相比传统 Hadoop 的优势是？","answer":{"mod":"slate","content":[{"type":"topic","children":[{"type":"p","children":[{"text":"传统 Hadoop 使用中机器资源固定，绝大部分时间计算资源限制，利用云上的弹性 MapReduce 可以按需获取计算资源，利用计算存储分离，可以将计算资源的生命周期与存储资源的生命周期解耦。"}]}],"id":"2868a923-42b0-4af4-86e3-c74cfec41597"}]},"__vid__":"pros5ig5z53eVxUaxTQds"},{"question":"如何在弹性 MapReduce 中实现计算存储分离？","answer":{"mod":"slate","content":[{"type":"topic","children":[{"type":"p","children":[{"text":"在创建集群时根据页面提示开启 COS，在使用过程中，只需要将访问文件目录指向对象存储中的目录即可，弹性 MapReduce 做了大量的兼容工作，让使用者几乎无需改动即可使用到对象存储。"}]}],"id":"1efc9813-28ae-4075-9c90-7df66f0c363a"}]},"__vid__":"ILcuTBRU2Q25UH5xgNBQY"},{"question":"什么是 Task 节点？是否需要数据盘？","answer":{"mod":"slate","content":[{"type":"topic","children":[{"type":"p","children":[{"text":"Task 节点为纯计算节点，不存储数据，被计算的数据来自 Core 节点及 COS 中，因此 Task 节点往往被作为弹性节点，可随时扩容和缩容。一般 Task 节点需要500G的数据盘以保证一定的临时数据存储。"}]}],"id":"2adcf651-5d57-49c1-b5ce-091fee911d4c"}]},"__vid__":"f6rKrSB-GNqdT6xqjP9Qq"}],"__vid__":"nN5nVYzmG6icsBZ4Hobpf"},{"id":"2","label":"计费","list":[{"question":"我该如何选择计费方式？","answer":{"mod":"slate","content":[{"type":"topic","children":[{"type":"p","children":[{"text":"如果您的集群规模长期稳定，可以选择包年包月的集群。如果您的集群只是临时存在，推荐选择按量计费的方式。如果您需要保留一部分节点，想利用到云上的弹性优势，可以创建一个包年包月集群，并在使用中扩容 Task 节点时选择按量计费。"}]}],"id":"69514914-4be6-4a40-a40b-f1afb0c2d692"}]},"__vid__":"iz2oAE9fhot-BggEEuEOE"},{"question":"使用对象存储做计算存储分离会收费吗？","answer":{"mod":"slate","content":[{"type":"topic","children":[{"type":"p","children":[{"text":"会产生两部分费用，一部分来自于数据存储本身，另一部分来自于请求费用。内网的数据传输不收费，更多详情请参考 "},{"type":"link","url":"/document/product/436/16871","title":"/document/product/436/16871","children":[{"text":"对象存储费用说明"}]},{"text":"。"},{"type":"link","url":"/document/product/436/16871","title":"/document/product/436/16871","children":[{"text":""}]},{"text":""}]}],"id":"ab2bfb23-0988-43fa-9e9b-fa8ef84b40b1"}]},"__vid__":"ucbwI30IwHdY9WAMBP4ja"}],"__vid__":"OHRAZ37YzFzPyLcBKdVij"}]},"id":"ZxCyuwLro","collection":{"header":[{"kind":"block","name":"section-header","data":{"title":"常见问题"},"id":"UiMwW15gWL"}],"addons":[{"kind":"block","name":"section-footer","data":{"content":{"mod":"slate","content":[{"type":"topic","children":[{"type":"p","children":[{"text":"更多问题请查看 "},{"type":"link","url":"?document/product/589/31851","title":"?document/product/589/31851","children":[{"text":"常见问题"}]},{"text":"，也可在 "},{"type":"link","url":"?developer/ask","title":"?developer/ask","children":[{"text":"问答社区"}]},{"text":" 中进行提问 。"}]}],"id":"2270e8ed-9c1b-4fd9-be82-74d07b7387ee"}]}},"id":"H3dnmUzq2z"}]},"className":""},{"kind":"block","name":"call2action","data":{"title":"","content":"我们致力于为您提供个性化的售前购买咨询服务，以及全面的技术售后服务。","buttons":[{"title":"开始使用","to":"none","__vid__":"CwUo3HL98z1qtMOhuHBED"}],"aside":{"qrcodes":[{"image":"https://qcloudimg.tencent-cloud.cn/raw/6808ac78b5ced06026e47077d6bc7aae.png","title":"腾讯云大数据","__vid__":"2Mli-ZEMUkuolHmktiIDw"}],"content":"关注右侧公众号“腾讯云大数据”，获取产品动态及活动信息。点击下方按钮，联系我们获得技术支持。","buttons":[{"title":"联系我们","to":"?act/event/connect-service","__vid__":"_EBhkZXcTkqmIlAx4oYnM"}]}},"id":"IspX0Zqqa"}]},"settings":{"seo":{"title":"弹性MapReduce__弹性伸缩Hadoop服务_云原生开源大数据平台 - 腾讯云","keywords":"弹性MapReduce,弹性伸缩Hadoop服务,云原生开源大数据平台,EMR,hadoop,hbase,starrocks,cdh,hdp,yarn,hdfs,spark,hive","description":"弹性MapReduce(EMR)是基云原生技术和泛Hadoop生态开源技术的安全、低成本、高可靠的开源大数据平台。提供易于部署及管理的 Hive、Spark、HBase、Flink、StarRocks、Iceberg、Alluxio 等开源大数据组件，帮助客户高效构建云端企业级数据湖技术架构……"},"siteSearch":{"enable":true},"toc":{"enable":false}}};