BatchCompute 除了支持把软件直接安装到 ECS 镜像,还支持通过 Docker 镜像部署应用程序。
也可以自定义制作一个 Docker 镜像,上传到阿里云的容器镜像服务仓库中或者使用 registry 工具上传到阿里云 OSS,然后您可以指定您的作业的任务在这个镜像中运行。
以 AutoCluster 模式为例,对比VM 方式
和Docker方式
的使用过程。
VM 方式。用户提交作业,每个作业可以有多个任务,每个任务指定一个镜像(支持 Linux 和 Windows);系统运行任务时,会根据指定的镜像启动VM;用户任务将运行在这个VM上;任务完成后,结果会被上传到指定的持久化存储,然后销毁 VM,准备执行下一个任务。
Docker 方式:用户提交作业运行任务时,会先启动 VM 来支持 Docker 的系统镜像(如:支持 Docker 的 Ubuntu);然后从容器镜像服务仓库或者 OSS 下载指定的 Docker 镜像,并在该 VM 中启动,用户的任务将在该 Docker 容器内运行;任务完成后,结果上传到指定的持久化存储,然后销毁 VM,准备执行下一个任务。
目前一个 VM,只支持运行一个 Docker 镜像。
# 使用VM:
---
|-- job
|-- task
|-- VM (用户指定的 VM,支持 Windows 和 Linux)
|-- program (用户程序)
# 使用Docker模式:
---
|-- job
|-- task
|-- VM (支持 docker 的 Ubuntu)
|-- Docker-Container(用户指定的 Docker 的容器镜像)
|-- program (用户程序)
- | 不使用 Docker | 使用 Docker |
---|---|---|
使用镜像 | 指定 ECS 镜像 ID | 指定支持 Docker Container 的 ECS 镜像 ID(例如,官网提供的 Ubuntu),还需指定自定义 Docker 镜像。 |
程序运行平台 | 支持 Windows 和 Linux | 支持 Linux |
本地调试 | 不支持本地调试 | 镜像在本地制作,支持本地调试 |
安装完成后会有2个快捷方式:
Kitematic: 用来管理 docker container 的图形化界面
Docker Quickstart Terminal: 可以快速启动 docker 命令行界面。
注意: 确保安装的 Docker 版本 >= 1.10, 否则会有兼容问题。
使用加速器,将会提升您在国内获取 Docker 官方镜像的速度:阿里云容器服务开发者平台 。
Docker container 运行时,用户为 root,path 环境变量默认为:/sbin:/usr/sbin:/bin:/usr/bin。注意没有/usr/local/bin
PWD 环境变量如果没有设置,则为’/batchcompute/workdir’。用户的程序包始终会被解压到 /batchcompute/workdir。
使用 ClusterID 提交任务时, 因为 Docker registry 一旦启动后就不停止,因此提交到一个 cluster 中的所有 job,其 BATCH_COMPUTE_DOCKER_REGISTRY_OSS_PATH 必须相同。
目前 InputMapping,OutputMapping 不能同时挂载到同一个目录。
BatchCompute 启动 Docker 容器时使用 —privileged=false 模式,所以不允许在docker 容器中启动 docker 容器。
服务器托管 对于一些新接触朋友来讲可能会有些不太了解,但是对于很多企业来讲,...
买 域名 和服务器一般要多少钱?买域名和服务器需要的费用,主要取决于买什么样...
在数据分析工作中,细分思维的重要性,我认为再怎么强调都不为过。 然而,很多人...
本文从授权和撤销安全组规则、加入和移出安全组讲解云服务器ECS的安全组最佳实践...
群组系统简介 群组系统是一个支持多人聊天的即时通信系统,以下视频为您详细介绍...
VR云渲游平台(VR Cloud Rendering Gaming Platform, CVR),基于华为云基础设施...
北京怎么申请 域名 ?网站是现在任何企业、商家不可或缺的部分,在互联网中任何...
12月7日消息,外媒报道称,根据Scality的研究,容器化和云本地应用将定义2021年...
作者 | 琉克 来源 | 阿里技术公众号 一 构建平台的由来 只要是软件开发就离不开...
当你发现服务器在使用过程中出现与以往情况不同的故障时,造成数据库的数据丢失...