https://developer.aliyun.com/live/246750
一、背景/功能简述传统集群架构存储计算一体存储量与计算量无法始终匹配存储无法水平扩展存储与计算竞争硬盘资源存储分层架构计算资源动态伸缩存储资源使用云存储作为 HDFS 的替代或补充相比存算分离架构,对于已有 HDFS 数据比较平滑,可以逐渐过渡到存算分离架构数据仓库数据仓库是大数据的典型场景每天的 ETL 作业新增大量数据Hive 支持分区表,使用分区可以快速裁剪数据Hive 数仓中大量 Hive 表以时间日期作为分区字段在数仓中很多表的较老的日期分区平常一般不会被访问,可以考虑把这部分数据移出 HDFSHive 的每个分区都有自己的 storagedescriptor,可以有单独的存储路径分区表的结构partitioned_table_xx
dt=2021-05-16/category=1/dt=2021-05-16/category=2/dt=2021-05-16/category=5/dt=2021-05-16/category=8/dt=2021-05-15/category=2/dt=2021-05-15/category=3/dt=2021-05-15/category=4/……使用 JindoTable 按分区归档数据在本地盘机型上,HDFS 可以提供较好的性能,对集群已有存储空间也能较好利用一般情况下用不到的数据移动到 OSS,释放集群存储空间,减小NameNode 压力需要读取这部分数据时,也可以直接从 OSS 读取,不影响上层作业每天 ETL 完成后可以移动数据?具体文档下载和参考见 Github:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/tools/table_moveto.md
直接观看视频回放,获取实例讲解~https://developer.aliyun.com/live/246750
?Github链接:
https://github.com/aliyun/alibabacloud-jindofs
不错过每次直播信息、探讨更多数据湖 JindoFS+OSS 相关技术问题,欢迎扫码加入钉钉交流群!
提到“数网协同”中的“网”,人们的第一反应一定是“通信网络”,但对于数据中...
本文转载自微信公众号「前端进阶之路」,作者三余。转载本文请联系前端进阶之路...
在正式学习之前,先来了解一个ECharts官网提供的很好用的功能。该功能可以实时显...
在FunctionGraph上构建应用程序时,核心组件是函数和事件源。事件源是发布事件的...
案例背景 克拉克拉(KilaKila)是国内专注二次元、主打年轻用户的娱乐互动内容社...
在解决算法问题中我们会经常遇到要求均等概率的问题, 以leetcode 470. 用 Rand7...
本文转载自微信公众号「码农读书」,作者码农读书。转载本文请联系码农读书公众...
前言 Vue 框架通过数据双向绑定和虚拟 DOM 技术,帮我们处理了前端开发中最脏最...
本节介绍REST API请求的组成,并以调用IAM服务的 获取用户Token 说明如何调用API...
日前,权威 域名 媒体DN Journal发布了10月26-11月8月 域名交易 报告。报告显示...