数据智能构建管理平台Dataphin V2.9.4.3版本发布

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号 文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index

1 产品简介

Dataphin是阿里巴巴集团OneData数据治理方法论基于内部实践的产品化输出 一站式提供数据采、建、管、用全生命周期管理的能力 以助力企业显著提升数据治理水平 构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin提供多种计算引擎支持及可拓展的开放能力 以适应各行各业的平台技术架构和个性化诉求。

2 版本概览

2021年6月 Dataphin发布V2.9.4.3版本 升级多项产品能力。

平台能力上 拓展计算引擎丰富度和OpenAPI覆盖度数据集成模块 拓展支持的MySQL数据源版本和一键建表覆盖范围 以提升配置效率监控能力上 优化告警接收规则配置 提提升灵活性适配更多监控场景资产中心 优化逻辑表预览及敏感字段识别规则 完善资产链路数据服务拓展API分页查询能力 以拓展查询范围 提升服务响应效率和链接稳定性

该版本在产品功能和用户体验上都进行了优化和提升 旨在为用户提供更完善的产品能力和体验 以加速企业数据中台建设进程。

3 新版本重点特性详解特性1 计算引擎新增支持CDH6

新增针对CDH6计算引擎的适配 以提升多引擎兼容能力 截至当前版本 Dataphin支持的计算引擎类型包括 MaxCompute、CDH5、CDH6、EMR。

特性2 MySQL数据源支持8.x版本

目前 8.0是市面上比较主流且使用度较广的MySQL数据库版本。Dataphin在已经支持MySQL 5.6和5.7数据源的基础上 新增支持MySQL 8.0版本 可以在数据同步、数据服务等模块基于该数据源进行配置 以提升业务数据覆盖度。

特性3 数据集成支持在Oracle目标库一键建表

支持在目Oracle目标库一键创建数据建表 以简化配置流程 提升数据同步配置效率。截至当前版本 一键建表功能一共覆盖4种目标数据源 MaxCompute、Oracle、Hive、AnalyticDB for PostgreSQL。

特性4 任务运行监控和质量监控支持给不同的接收对象指定不同的告警和接收方式

升级前 针对所有选中的接收人 均需要配置相同的告警接收方式。升级至本版本后 针对不同的接收人类型 可以指定不同的接收方式 以根据实际情况实现区别告警。如 任务负责人需要了解自己所负责的任务运行概况 但不需要立即处理异常情况 可以选择短信告警 值班负责人需要及时发现异常并处理 可以选择电话作为强提醒 项目管理员需要定期统计告警概况 可以选择邮件告警以方便记录和统计。

特性5 资产地图新增逻辑表数据预览功能、资产安全支持手动触发敏感字段识别

新增逻辑表预览功能 针对有权限的字段 直接展示抽样的数据记录 若字段设置过脱敏规则 则仅展示脱敏后的数据 针对无权限的字段 提示“无权限”字样并提供快捷申请的跳转链接。结合该功能 Dataphin完善了逻辑表从研发到资产沉淀到消费预览的全链路 提升了建模体验。

默认情况下 在资产安全模块配置了敏感数据识别规则后 次日开始每日定时进行扫描。本次在每日定时扫描的基础上 新增支持用户手动触发敏感数据识别任务的运行 以实现新增规则立即生效 以及临时变更场景下的记录及时更新 提升敏感数据识别覆盖场景。

特性6 数据服务支持基于Impala数据源创建的API分页查询 以拓展查询范围 提升查询稳定性

历史版本中 考虑到查询性能 基于Impala数据源创建的的API单次查询仅支持返回最大1000条结果 无法满足大数据量查询场景 影响下游业务使用。本次针对基于Impala数据源创建的API 提供分页查询能力 支持通过limit或offset语句设置分页条件 以保证服务连接稳定性和相应效率 支持大数据量查询的场景。

4 总结与展望

本次发布的V2.9.4.3版本中 Dataphin围绕计算引擎、数据源、数据集成、监控告警、数据服务进行了功能迭代升级 在下一个版本中 我们将重点支持FusionInsight计算引擎适配、数据萃取升级、OpenAPI扩展、运维补数据能力提升、数据服务多项目等功能 敬请期待

相关产品 智能数据构建与管理Dataphin

数据中台是企业数智化的必经之路 阿里巴巴认为数据中台是集方法论、工具、组织于一体的 “快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案 包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座 以Quick系列为业务场景化切入 包括

- Dataphin 一站式、智能化的数据构建及管理平台 - Quick BI 随时随地 智能决策 - Quick Audience 全方位洞察、全域营销、智能增长 - Quick A 跨多端全域应用体验分析及洞察的一站式数据化运营平台 - Quick Stock 智能货品运营平台 - Quick Decision 智能决策平台

官方站点

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

本文转自网络，原文链接：https://developer.aliyun.com/article/785197
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！