本文将向您介绍批量计算产品中涉及的几种作业类型,以便于您更好地选择批量计算产品。
批量计算依据您使用集群方式的区别,将作业分为固定集群作业,自动集群作业,组合集群作业三种类型。下面分别介绍三种作业的优缺点,您可依据业务需求选择相应的作业类型。
优点:集群支持分布式缓存,适用大规模作业的场景;
缺点:需要您花费精力管理集群资源生命周期。
优点:您无需花费精力管理集群,由批量计算自动管理集群生命周期;
缺点:集群间无法共享分布式缓存数据,访问存储压力大,占用资源多,适用小规模作业的场景。
批量计算最新推出的作业类型。使用方法请参考组合集群最佳实践
优点:
缺点:您首次使用需创建一个集群,然后才能提交作业。
类型 | 组合集群 | 自动集群 | 固定集群 |
---|---|---|---|
创建 | 需要事先创建集群,在自动集群配置里填写当前task需要的配置。 | 作业启动时自动创建。 | 需要事先创建集群,创建集群时需要指定ImageId和InstanceType,还有需要的机器台数。 |
释放 | 手动创建的集群需要自己删除。 | 作业完成后自动释放。 | 需要手动删除。如果您不再使用集群,请删除,不然会一直收费。 |
使用 | 提交作业时需要在自动集群字段中指定集群ID。 | 提交作业时指定ImageId和InstanceType,还有需要的机器台数。 | 提交作业时指定集群ID。 |
from batchcompute.resources import (
JobDescription, TaskDescription
)
job_desc = JobDescription()
task_desc = TaskDescription()
task_desc.ClusterId = "cls-xxxx"
task_desc.AutoCluster.ClusterId = ""
job_desc.DAG.add_task ("cluster", task_desc)
from batchcompute.resources import (
JobDescription, TaskDescription
)
job_desc = JobDescription()
task_desc = TaskDescription()
task_desc.ClusterId = ""
task_desc.AutoCluster.ClusterId = ""
job_desc.DAG.add_task ("auto_cluster", task_desc)
from batchcompute.resources import (
JobDescription, TaskDescription
)
job_desc = JobDescription()
task_desc = TaskDescription()
task_desc.ClusterId = ""
task_desc.AutoCluster.ClusterId = "cls-xxxx"
job_desc.DAG.add_task ("attach_cluster", task_desc)
固定集群作业
如果您有很多作业要处理,可以考虑使用固定集群。 比如提交100个作业,您可以创建一个10台VM的固定集群,将100个作业全部提交到这个集群即可, 系统会在每个任务完成后自动调度下一个任务运行。全部运行完成后,你需要手动释放掉集群。
自动集群作业
自动集群在提交作业时指定需要的实例数和实例规格,实际运行任务的时候系统自动创建集群,运行任务完成后自动释放。不在乎等待时间长,或者作业较少情况下,可以使用自动集群。
组合集群作业
您有很多自动集群的作业时(成千上万级别),需要选用组合集群。提交作业时需要指定自动集群配置中的集群信息,作业运行的时候会被组合到指定集群上。集群会自动申请和释放所需资源。
在人类科技文明骤然调至100X 倍速的三百年,诞生了成千上万的科技发明:实体的、...
本教程介绍如何在Windows系统ECS实例上手动部署MySQL数据库。 前提条件 使用本教...
1. 接口描述 接口请求域名: lighthouse.tencentcloudapi.com 。 本接口(StopIn...
让边缘计算设备与核心企业IT系统协同工作有五个关键挑战,以及应对这些挑战的几...
2020年初,一场突如其来的疫情延续至今,我国经历一场遭遇战后,总结经验,转换...
写本文的起因是,一天在群里有同学说误打误撞下,使用负的 outline-offset 实现...
万物互联,智联未来! 在迎接物理世界数字化转型升级的过程中,技术也开始从互联...
2020年9月9日,中国信息通信研究院、广东省工业和信息化厅、广东省通信管理局、...
【51CTO.com快译】每当您在Linux系统中有一个想要保持私密的文本文件,无论系统...
调用DescribeEniMonitorData查询一块辅助网卡在指定时间段内使用的流量信息。 接...