DataWorks熟能生巧系列直播第四期：DataWorks数据集成独享资源组

本篇文章主要介绍了DataWorks相关资源组的概念 包括分类、区别和使用场景等 并实操演示了如何打通数据集成独享资源组与VPC数据源网络。

分享人 DataWorks技术支持团队

我们在开发者社区学习路线里有发布一个DataWorks的学习路线 里面包含了入门讲解和熟能生巧系列的直播内容 大家可以去学习一下 需要主账号登陆学习哦 https://developer.aliyun.com/learning/course/81

本期视频地址 https://developer.aliyun.com/learning/course/81/detail/1241

一、资源组相关概念介绍

什么是资源组 - 资源组是任务分发、执行的服务器。

DataWorks资源组分为公共资源组、独享资源组、自定义资源组。

公共资源组为所有用户共享的机器 高峰期可能出现任务等待机器资源而暂时无法运行的情况 运行任务时按量付费。独享资源组需要用户自行购买 包年包月形式售卖 购买后可分配到用户自己的工作空间独享使用。自定义资源组为用户自建的机器 由用户自己维护。

资源组的区别和使用场景如下

任务执行时如果资源不足 任务会等待资源

调度资源组和数据集成资源组这两种资源组等待资源的具体表现形式不同。如果调度资源组资源不足 那么任务日志中会打印“任务并发执行数已达上限 正在等待云端的gateway资源” 而数据集成资源组不足的情况下 数据集成的任务实际不会分配到资源来运行 所以数据集成日志中会长时间地打印wait这个状态。

如果是使用公共资源组出现等待资源 可以考虑购买独享资源组。如果是独享资源组资源不够 可以考虑扩容或者购买新的独享资源组。注意独享资源组仅在绑定的工作空间内使用 如果是多个工作空间 建议分开购买独享资源组。合理规划使用独享资源组 可以保障任务按时执行和产出。

下面是独享资源组的解释 它可以在DataWorks管控台的资源组列表里购买。

也可以通过购买链接直接购买 https://common-buy.aliyun.com/?commodityCode dide_resource_pre request %7B%22ord_time%22:%221:Month%22,%22order_num%22:1,%22region%22:%22cn-shenzhen%22,%22dide_ex_pre_type%22:%22dide_ex_alisa%22,%22dide_ex_alisa_spec%22:%228c16g%22,%22expand_num%22:2%7D

购买是请谨慎确认地域、资源组类型和资源组规格等信息

在不同的数据集成任务场景中 数据源所在网络环境比较复杂 需要通过一系列操作打通独享数据集成资源组和数据源的网络链接 下面的链接具体讲解了各种场景。当然 目前DataWorks提供了数据源网络连通性工具来帮助大家连通数据源 降低连通操作的复杂度。

本次主要以RDS-MySQL为例 讲解如何在VPC环境下和独享数据集成资源组打通网络 主要分为以下6个步骤

购买阿里云数据库服务 以rds-mysql为例 购买同地域同可用区 可用区可不一致 的数据集成独享资源组数据集成独享资源组绑定dataworks工作空间数据集成独享资源组修改专有网络绑定 添加rds实例的vpc信息。不同可用区需要添加路由 将数据集成独享资源组的eip和弹性网卡ip添加到rds实例的白名单中创建数据集成数据源并正常测试独享数据集成资源组的连通性

文档指导操作链接 https://developer.aliyun.com/article/766753

二、实操演示部分

首先到RDS管控台 根据我们的需要购买相应的实例。

创建好RDS-MySQL实例之后 可以查看它的基本信息 比如地域可用区、内网地址等。

随后再看下数据库连接 这里有一个网络类型 表示的是这个实例所在的VPC 而VSwitch表示的是RDS实例所在的VPC下的交换机。

购买RDS实例之后 再到DataWorks管控台购买独享资源组 自己创建名字和备注 然后到相应的地方购买。

这里选独享数据集成资源组并根据需求购买规格 比如4vCPU ?8GiB最多支持的离线任务并发数是8 超过8个就运行不起来。

现在这个独享资源组还无法和对应的RDS实例连通。首先要先改一下归属空间 这是为了让这个独享资源组在对应的工作空间下可以选中并且使用。

随后开始网络打通。首先点开专有网络绑定 点击新增绑定 选择刚才RDS的专有网络 这里交换机和安全组选择默认的即可 如果没有也可以自己创建。

这里“专有网络”要选定RDS-MySQL实例控制台的VPC 就是刚才RDS控制台“数据库连接”里看到的实例VPC 另外还有一个VSwitch是交换机号码 这里配置交换机的时候如果找不到RDS实例的VSwitch RDS交换机和资源组在不同可用区会找不到 但没关系 后面配置路由连接交换机即可 配置好VPC就行 可以先随便选一个或者新建一个 点击“创建交换机” 安全组选默认的就行 或者你建一个。

这就完成了第一步绑定 但由于它们的交换机不一样 所以现在还无法连通。

这就需要通过路由规则来将同一个VPC下的不同交换机的网络进行连通。点击“自定义路由”来新增路由 目的类型选择VPC 目的VPC和目的Switch实例选择RDS-MySQL实例 这里应该就能找到VSwitch号码了 的地址。

添加成功后会有顶部弹出条提示成功

生成路由成功之后 需要将交换机网段或弹性网卡IP加入到RDS实例的白名单内。

添加白名单之后 这个网络就连通了。连通后进入DataWorks工作空间列表 找到刚才的工作空间 进入数据集成。再进入数据源管理界面 新建MySQL数据源 填入RDS-MySQL数据源的实例信息以及账号、数据库名等信息。

然后我们就可以进行独享数据集成资源组的连通性测试。

如果使用连接串方式添加数据源 那配置选择会变多

“网络连接类型”选择阿里云VPC的话 “JDBC URL”配置里RDS实例地址就使用内网地址 填写形式大概是 “内网地址 端口号/数据库名”

“网络连接类型”选择公网的话 “JDBC URL”配置里RDS实例地址就使用公网地址

以上就是本次“数据集成独享资源组与VPC数据源网络打通”讲解的全部内容 有问题需要解答的同学可以扫码加一下我们的钉钉大群 群里有直播回放可以观看 技术支持的同学们也会回答大家的问题。

感谢大家的关注

本文转自网络，原文链接：https://developer.aliyun.com/article/786370
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！