当前位置:主页 > 查看内容

Azkaban业务流程如何转化为DataWorks业务流程

发布时间:2021-05-10 00:00| 位朋友查看

简介:简介:用户在迁移上云的时候,需要将云下的的Azkaban任务迁移上云,之前通过用户在DataWroks一步步创建对应的业务流程,其转化难度和转化时间都是一定的成本和时间,但如何能做到省时省力的方式迁移,为此本文提供了使用迁移助手解决业务流程上云迁移的的问题……

简介:用户在迁移上云的时候,需要将云下的的Azkaban任务迁移上云,之前通过用户在DataWroks一步步创建对应的业务流程,其转化难度和转化时间都是一定的成本和时间,但如何能做到省时省力的方式迁移,为此本文提供了使用迁移助手解决业务流程上云迁移的的问题,本文模拟Azkaban业务流程到入到DataWorks的操作过程,方便大家参阅。

一、安装Azkaban,并将简单流程任务进行打包运行

1.1构建对应的运行任务

bar.job

bar.job

type=command
dependencies=foo
command=echo bar
foo.job

foo.job

type=command
command=echo foo
将这个两个文件打包为foobar.zip文件

1.2.创建project

image.png

1.3.上传对应调度任务

image.png

1.4.运行对应的调度任务

image.png

二、在DataWorks打开迁移助手,并进行业务流程的导入

2.1打开DataWorks的开发界面选择全部产品,点击运维助手

image.png

2.2进入迁移助手,点击新建导入任务

image.png

2.3选择对应的Azkaban任务,点击上传文件将foobar.zip进行上传

image.png

2.4上传完成后,可以看到对应的任务列表,查看对应的导入报告

image.png

可以看待对应任务导入是结果展示,以及转化为的业务流程名称
image.png

2.5最后回到Dataworks的开发界面进行查看转化后的调度任务

image.png

总结和注意事项:
1.仅主账号和工作空间管理员能够进行导入和导出操作,其他角色成员仅支持查看导入、导出任务列表,无操作权限。
2.目前支持Hive、Sqoop、Shell的转化等。
3.迁移上DataWorks的业务流程,需要转化的任务需要做手动改动,但是整体的逻辑不会改变。对比重新建立对应的繁杂的依赖关系,无论效率和成本都是完善的一种方案
原文链接
本文为阿里云原创内容,未经允许不得转载。


本文转自网络,版权归原作者所有,原文链接:https://segmentfault.com/a/1190000039973685
本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!
上一篇:Android 应用启动性能 | 延迟初始化 下一篇:没有了

推荐图文

  • 周排行
  • 月排行
  • 总排行

随机推荐