DataWorks 2021-05 产品月刊

本月DataWorks产品月刊为您带来

产品活动

1.数据集成开放用户体验调研问卷啦 赶紧开启吐槽模式吧

2.首月特惠 DataWorks专业版原价5000元现飞天会员618特惠仅需99元 独享数据集成/调度资源组首月5折

产品功能更新 DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的功能 开放消息服务 Open Message 开启公测 支持订阅DataWorks中的元数据及任务变更事件 可实现DataWorks与您的自有系统的深度集成 任务调度新增年周期和月末最后一天周期 可实现按年、按季度、按指定月最后一天的周期调度 新增FTP Check节点 支持定时检测指定的“FTP标Done文件” 实现DataWorks与外部系统的调度信号打通 新增ClickHouse引擎的支持 提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力 全新改版了代码搜索功能 支持更实时、更精准和更灵活的代码全文搜索能力

【产品活动】

1. 数据集成开放用户体验调研问卷啦 赶紧开启吐槽模式吧

立即前往

2. 首月特惠 DataWorks专业版原价5000元现飞天会员618特惠仅需99元

立即前往

3. 首月特惠 独享数据集成/独享调度资源组首月5折

立即前往

【产品功能更新】1、DataWorks数据集成新增实时同步至AnalyticDB MySQL 3.0的能力

支持MySQL、OceanBase、PolarDB等数据库实时同步至AnalyticDB MySQL 3.0 可以在一个任务中一次同步多个表的实时信息 能够自动先全量同步 然后启动实时增量 实现数据不间断同步。其中实时同步时已经自动支持添加列的DDL同步 即源端增加列时目标端的表也会增加相应列。

查看详情 https://help.aliyun.com/document_detail/229552.htm

2、开放消息服务 Open Message 开启公测

DataWorks提供开放消息能力 您可以在DataWorks开放平台开启消息订阅功能。仅支持DataWorks企业版用户参与公测活动 企业版用户可以直接参与公测并试用开放消息能力 无需申请和支付相关费用。您可以通过开放消息获取DataWorks中的元数据及任务变更事件 可实现DataWorks与您的自有系统深度集成。

查看详情 https://help.aliyun.com/document_detail/215365.html

3、DataWorks任务调度新增年周期和月末最后一天周期

DataWorks周期任务调度现添加了年周期调度和月末最后一天调度 可实现按年、季度、指定月最后一天的周期调度 目前DataWorks调度周期支持包括分钟、小时、日、周、月和年。

查看文档 https://help.aliyun.com/document_detail/137549.html

4、新增FTP Check节点 支持定时检测指定的“FTP标Done文件”

FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在 则启动调度下游任务 不存在 则按照配置的间隔时间重复检测 直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。

查看详情 https://help.aliyun.com/document_detail/215542.html

5、新增ClickHouse引擎的支持 提供了数据集成、数据开发、任务调度与任务运维等ETL操作和管理能力

DataWorks提供通过EMR实例模式或JDBC连接串模式绑定ClickHouse集群 以及通过JDBC连接串模式绑定ClickHouse数据源。提供通过数据集成支持对ClickHouse的读写数据的能力。提供ClickHouse SQL节点 通过独享调度资源组进行数据开发 任务调度 任务运维 临时查询等ETL操作和管理能力。

配置ClickHouse数据源 https://help.aliyun.com/document_detail/251479.html

绑定ClickHouse计算引擎 https://help.aliyun.com/document_detail/136938.htm#title-pp2-itt-1ak

创建并使用ClickHouse SQL节点 https://help.aliyun.com/document_detail/216828.html

【产品文档更新】

新版安全中心上线

新增安全中心API-GetPermissionApplyOrderDetail

实时同步数据至Kafka

Cassandra Reader

Cassandra Writer

成员及角色管理

导出开源引擎任务

导入开源引擎任务

引擎运维

查看周期任务DAG图 周期任务

查看周期任务DAG图 周期实例

查看周期任务DAG图 补数据实例

【往期系列】

DataWorks 产品月刊合集

更多DataWorks技术和产品信息 欢迎加入【DataWorks钉钉交流群】 为您提供最新的产品直播、产品活动及技术支持点击查看

本文转自网络，原文链接：https://developer.aliyun.com/article/784565
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！