欢迎通过本期月刊了解 MaxCompute 2021年4月-6月产品动态?
1、MaxCompute 支持 Dynamic Filter 智能优化功能提高任务执行效率 查看文档
适用客户
开发者、分析师、SQL优化用户
发布功能
JOIN是分布式系统中常见的操作 在海量数据场景下 也是一个非常耗时、耗资源的操作。针对JOIN场景 MaxCompute推出Dynamic Filter 智能优化功能 可以利用JOIN本身的等值连接属性 基于运行时动态生成过滤器 在Shuffle或JOIN之前提前过滤数据 实现加速查询运行。
该功能适用于维度表和事实表执行JOIN的场景。您可以在Session级别通过开关强制打开、智能选择打开或手工提示使用动态过滤器 并使用动态分区裁剪方法先过滤分区再使用动态过滤器。
2、2021年8月10日 MaxCompute 流式数据通道服务功能商业化
2021年8月10日 MaxCompute 流式数据通道服务功能即将结束免费公测 开始对流式数据通道服务写入的数据按量计费。
计费公式及规则
流式数据写入费用 流式写入数据量 GB ×流式数据写入价格 0.08元/GB
MaxCompute为每个MaxCompute项目每天提供100GB的免费流量 当天写入数据量超出100GB部分按上述计费公式计费。MaxCompute会按天推送您的流式写入计量信息 并在第二天给出您的流式写入费用账单。流式写入数据量 指写入请求的HTTP Body的大小。承载数据的HTTP Body使用ProtoBuffer编码 因此一般比数据原始容量要小 但是比压缩后存储在MaxCompute上的数据量要大。MaxCompute 流式数据通道服务功详情参见 流式数据通道服务概述。计费详情参见 流式数据写入费用 按量计费 。
3、2021年8月10日 MaxCompute SQL 的 UPDATE、DELETE和MERGE INTO功能商业化
2021年8月10日 MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能即将结束免费公测 开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业 届时会产生计算费用。
如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能 届时可以放心使用。
MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等保障。
计费公式及规则
如果MaxCompute项目的计费模式为包年包月 计算费用不单独收费。如果MaxCompute项目的计费模式为按量计费 计算费用计算规则调整为 单条SQL计算费用 计算输入数据量×SQL复杂度×单价 0.3元/GB 。其中 SQL复杂度通过SQL关键字个数折算。SQL关键字个数 JOIN个数 GROUP BY个数 ORDER BY个数 DISTINCT个数 窗口函数个数 MAX INSERT个数|UPDATE个数|DELETE个数-1, 1 。?
如果您担心费用超出预期 可以配置消费监控告警控制消费。更多监控告警信息 请参见?消费监控告警。
您还需要注意如下内容
如果MaxCompute项目的计费模式为按量计费 MaxCompute会根据UPDATE、DELETE和MERGE INTO语句扫描的输入数据量×SQL复杂度×单价计算费用。当您对Transactional表执行更新或删除操作后会生成Delta文件 Delta文件积累较多后会造成数据膨胀并影响读取性能 也会逐渐增大扫描数据量 增加费用。即使MaxCompute项目的计费模式为包年包月 也会占用更多资源 影响后续作业执行效率。您可以通过Compact方法合并Delta文件 更多语法信息请参见 合并Transactional表文件。MaxCompute会按照批处理方式执行delete、update作业 每一条语句都会使用资源并产生费用 建议您使用批量方式删除或更新数据 请参见 更新或删除数据 UPDATE | DELETE 。命令示例如下? ? ? ? ?--推荐方案 使用关联方法 一次改写或删除所有需要操作的数据。 update table1 set col1 (select value1 from table2 where table1.id table2.id and table1.region table2.region);
? ? ? ? ?--不推荐方案 逐行操作。 update table1 set col1 1 where id 2021063001 and region beijing update table1 set col1 2 where id 2021063002 and region beijing ......
4、MaxCompute 视频中心全新改版上线 视频中心
MaxCompute 新版视频中心包含产品发布会、大数据系列公开课、近年云栖大会精彩演讲、行业客户案例、最佳实践、人物专访等内容 方便您一站式获取MaxCompute相关的视频信息。
?
5、精选技术及实践文章
更多关于大数据计算、云数仓技术交流 欢迎扫码加入 “MaxCompute开发者社区” 钉钉群
从 10.0.0 版开始,异步迭代器就出现在 Node 中了,在本文中,我们将讨论异步迭...
摘要 元旦期间 订单业务线 告知 推送系统 无法正常收发消息,作为推送系统维护者...
在Python语言中有如下3种方法: 成员方法 类方法(classmethod) 静态方法(staticm...
Docker生成新镜像版本的两种方式 There are two ways Docker can generate new m...
2021年3月24日,主题为《数据的世界,世界的数据》的星环科技2021春季新品发布会...
前提条件 请您在购买前确保已完成注册和充值。详细操作请参见 如何注册公有云管...
本文整理自直播《Hologres 数据导入/导出实践-王华峰(继儒)》 视频链接: https:/...
信息化2.0时代提出开展智慧教育创新发展行动。2019年2月,中共中央、国务院印发...
建站 什么 虚拟主机 够用?这要看搭建的是什么类型的网站。比如个人博客类型的网...
【51CTO.com快译】 数据可视化工具不断发展,提供更强大的功能,同时改善可访问...