外部工具连接SaaS模式云数仓MaxCompute — 开源BI分析工具篇 &am

作者 木弈 阿里云智能 产品经理

直播视频请点击 直播 观看。

本次分享将从四个方面讲解。

01 上节回顾

02 开源BI 数据库管理工具概览

03 实操展示

04 查询加速

一、上节回顾

在第一讲中我们主要讲了 MaxCompute 生态 重点介绍了商业BI工具 包括Tableau、FineReport、FineBI、Quick BI、Yonghong Desktop BI工具的连接原理以及实操的展示。本次直播我们将会重点关注开源BI工具和数据库管理工具 主要是商业智能部分的Superset和Davinci 开发管理部分的DataGrip、DBeaver、SQL Workbench/J。

二、开源BI 数据库管理工具概览

MaxCompute 支持的开源BI工具主要是Davinci和Superset 分别是以JDBC和PyODPS做为连接驱动。

商业智能 (BI) 工具支持将计算引擎得到的数据通过仪表板、图表和其他图形输出提供数据可视化 以直观的形式展示给决策者 帮助高管和经理做出更明智的业务决策。

数据库管理工具 即数据库图形化工具 是数据库人员必需的工具之一 MaxCompute支持与DBeaver、DataGrip和SQL Workbench/J 通过JDBC驱动连接 并可以形象化方便快捷地进行列举数据库、列举表、查看表结构、查询表数据、建表、写表、建视图、查询视图等相关操作。

连接方式JDBC

PyODPS

PyODPS是MaxCompute的Python SDK 提供DataFrame框架和MaxCompute对象的基本操作方法。您可以通过MaxCompute轻松地分析数据。

PyODPS 支持Python 2.6 以上的 Python 版本 包括Python 3。系统安装了 pip 后 只需运行

pip install git http://gitlab-ci-token:c60faf31b1f475342c790cca880e06 gitlab-sc.alibaba-inc.com/odps/pyodps.git 

PyODPS 的相关依赖会自动安装。

注意 对于Linux和Mac用户 先安装Cython 再运行安装pyodps命令 能加速Tunnel的上传和下载。

常用参数信息

? maxcompute_endpoint MaxCompute项目所属区域的Endpoint。

? project_name 待连接的目标MaxCompute项目名称。

? User 有访问指定项目权限的AccessKey ID。

? Password AccessKey ID对应的AccessKey Secret。

三、实操展示Superset实操展示

请点击 视频 查看实操部分

DBeaver实操展示

请点击 视频 查看实操部分

其他实操文档

Davinci连接MaxCompute

DataGrip连接MaxCompute

SQL Workbench/J连接MaxCompute

四、查询加速

MaxCompute 查询加速 – 针对实时性要求高的查询作业 全链路加快 MaxCompute 查询执行速度

?使用MaxComputeSQL语法和引擎 针对近实时场景进行优化

?系统自动进行查询优化选择 同时支持用户选择延时优先还是吞吐优先的执行方式

?针对近实时场景使用不同的资源调度策略 latencybased

?针对低延时要求的场景进行全链路优化 独立执行资源池 多层次的数据和meta Caching 交互协议优化

QuickBI查询加速

其他工具查询加速- interactiveMode trueinteractiveMode 可选。查询加速功能开关。如果您需要启用查询加速功能 在URL后追加 interactiveMode true配置即可。更多查询加速功能信息 请参见查询加速。

是否启动查询加速功能查询速度对比

使用Davinci测试对比

查询数据量

不使用查询加速功能

使用查询加速功能

1w

10s

3s

5w

12s

7s

对比实操视频

请点击 视频 查看实操部分

更多关于大数据计算、云数仓技术交流 欢迎扫码加入 “MaxCompute开发者社区” 钉钉群

本文转自网络，原文链接：https://developer.aliyun.com/article/785970
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！