【产品动态】历经3年的打磨，数据构建及管理平台Dataphin增加了

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号 文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index

Dataphin即智能数据构建与管理平台

旨在提供从数据接入到数据消费的全链路、一站式的大数据能力 包括产品、技术和方法论等 以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。

版本新特性概况

自Dataphin产品上线以来 经历3年的迭代打磨 本次2.9.4.2版本在2021年5月15日发布 主要涉及数据源类型拓展 数据集成、实时研发、数据服务功能升级 运维体验优化等 将满足更多用户场景 提升研发体验

功能升级亮点摘要

1、新增数据源

新增支持Hologres数据源类型 用于后续Hologres数据同步集成 及后续实时Blink任务读写使用。

对于使用Hologres数据源的用户来说 Dataphin支持从Hologres数据集成至计算引擎及多种数据源 同时可从计算引擎及数据源回流至Hologres 支持Blink任务实时读写Hologres数据 且在Dataphin流批一体场景中 Hologres可以用作批流一体的统一存储服务 实时查询实时写入 无冗余数据搬迁工作 大幅提升研发效率。

功能场景a. 数据源引入

功能场景b. 离线数据集成

功能场景c. 流批一体

定义Hologres元表 指定数据源及来源表

定义流批虚拟镜像表 指定镜像表映射的批流分别写入的物理表 由于Hologres同时支持离线与实时读写 因此两边物理表可以均为Hologres表

创建Blink流批一体任务 指定批流参数配置及任务配置 代码逻辑一致 一套代码实现两种调度时效

Dataphin流批一体架构图

2、Blink实时任务支持代码采样调试

Blink实时任务支持代码采样调试 采样数据支持本地上传文件数据、在线抽样数据、在线编辑输入数据三种方式 仅兼容支持blink-3.6及以上版本。

升级前Blink任务不支持本地调试 无法在草稿态时验证作业开发的数据正确性 需要提交到运维后启动运维的测试实例进行验证 提交任务之前无法验证。

升级后在提交Blink任务之前可以进行本地数据采样 并在Console中输出任务运行结果 可以即时检查代码逻辑是否正确、输出结果是否符合预期等 验证正确再进行任务提交 有效保障了任务质量及开发效率。并且我们支持三种采样方式 自动抽样数据来源表数据、上传本地csv文件 提供样例可下载 或者直接在采样的面板中进行数据输入 灵活且方便。

3、运维列表展示对象拓展

运维列表每页展示对象拓展至100个 默认展示20/页 可切换20/40/60/80/100个/页 运维任务DAG图中支持查看物化代码及运行日志时自动定位到对应物化节点 提升运维效率

4、数据服务模块支持新离线数据源

数据服务模块新增支持AnalyticDB for MySQL 3.0 离线数据源。

新增数据服务管理员角色 作为API权限申请、服务单元权限申请及数据源权限申请的审批人 加强API数据服务出口的权限管控强度 限制API开发者本人对API的广泛应用权限 需设置专人进行权限审批 API应用安全及权限管控效力大幅增强。

版本小结

本次5月发布的V2.9.4.2版本中 Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行功能迭代。

在下一期的迭代中 计划支持CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩展、监控告警能力升级、MySQL8.0数据源等功能 敬请期待

我想了解更多 https://dp.alibaba.com/consult

数据中台是企业数智化的必经之路 阿里巴巴认为数据中台是集方法论、工具、组织于一体的 “快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案 包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座 以Quick系列为业务场景化切入 包括

- Dataphin 一站式、智能化的数据构建及管理平台 - Quick BI 随时随地 智能决策 - Quick Audience 全方位洞察、全域营销、智能增长 - Quick A 跨多端全域应用体验分析及洞察的一站式数据化运营平台 - Quick Stock 智能货品运营平台 - Quick Decision 智能决策平台

官方站点

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

本文转自网络，原文链接：https://developer.aliyun.com/article/784660
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！