数据湖计算 DLC

腾讯云

开发者社区

文档建议反馈控制台

首页TVP

#数据湖计算 DLC

数据湖分析服务

大数据平台：统一元数据管理

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

22小时前2024-05-05 11:18:38

元数据管理包括元数据采集、存储、管理及应用等关键环节，是数据治理的基础与核心。但元数据管理实践过程中通常会面临元数据来源众多且分散在不同系统中、元数据类型多样以...

7630

Presto CBO统计元数据

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

8天前2024-04-28 09:30:59

Presto：2012年秋季Facebook内部开始研发，2013年正式对外开源。Presto是Facebook用于补充和替代Hive的产品，主要用于实时场景的...

18740

Spark CBO统计元数据

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

8天前2024-04-28 09:22:01

Statistics 统计信息，参考：org.apache.spark.sql.catalyst.plans.logical.Statistics

18991

Hive CBO优化剖析

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

9天前2024-04-27 09:26:14

Hive是较早的SQL on Hadoop系统，对大数据SQL执行有广泛和深远的影响。它最初由Facebook开发，后来成为Apache软件基金会的一个开源项目...

23960

Calcite系列(十二)：可插拔性&JDBC驱动

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

1天前2024-05-04 19:54:33

为了实现动态数据源管理框架的目标，Calcite提供了丰富的可插拔能力和扩展性。用户可以根据使用场景进行自定义扩展。相关可插拔扩展的组件包括：

12130

Calcite系列(十一)：物化视图

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

12天前2024-04-24 10:08:14

物化视图(Materialized View)：是一种特殊的物理表，本质是预计算，是多个计算过程之间的联系建立。从数据组织层面优化数据访问效率，即把某些耗时的操...

28690

Calcite系列(十)：执行流程-计划树执行

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

1天前2024-05-04 19:54:51

计划树执行是SQL处理的第五步，也称为Implementor执行实现。Calcite主要提供两种Implementor实现方式：RelImplementor?和...

16070

Calcite系列(九)：执行流程-优化器优化

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

13天前2024-04-22 11:02:16

优化器优化是SQL处理的第四步，也是最核心的一步，优化器优化本质是基于优化规则实现关系代数等价转换。

26360

Calcite系列(八)：执行流程-计划树构建

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

1天前2024-05-04 19:54:17

计划树构建是SQL处理的第三步，构建出可关系代数优化的逻辑计划树RelNode，是优化器执行优化的前提。

19860

Calcite系列(七)：执行流程-合法性校验

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

15天前2024-04-20 10:31:15

合法性校验是SQL处理的第二步，在计算执行前，提前验证SQL正确性。该验证操作是非线性的，需要基于语法树处理各种嵌套的复杂情况。Calcite合法性校验基于Sq...

14030

Calcite系列(六)：执行流程-语法解析

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

17天前2024-04-19 09:32:49

目前广泛使用的语法解析框架主要包括ANTLR、JavaCC和Yacc等。在大数据领域中，很多计算引擎都是基于ANTLR进行语法解析，例如 Hive、Spark和...

29770

Calcite系列(五)：执行流程-概览

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

1天前2024-05-04 12:28:35

SQL执行流程有一套通用的步骤，尽管具体的实现可能会因数据库系统的不同而有所差异，但流程相对固定。以下是通用的SQL处理流程：

20460

Calcite系列(四)：核心概念-Adapter

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

1天前2024-05-04 12:12:07

Calcite作为SQL中间件，为提供扩展性并适配不同数据源，设计了Adapter适配器方式对接异构数据源，允许Calcite连接到不同类型的数据源。Adapt...

22050

Calcite系列(三)：核心概念-Convention

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

20天前2024-04-16 09:55:48

Convention：Calcite设计的核心概念，代表一类特定的数据源或执行引擎，基于Convention可生成与具体数据源或者引擎相关的执行计划。Calci...

18740

Calcite系列(二)：核心概念-关系代数

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

1天前2024-05-04 11:50:04

关系模型是一种用于数据库管理的理论框架，其基础建立在数学的集合论之上。该模型由Edgar F. Codd 于1970年提出，旨在以一种严格且理论化的方式来描述数...

25170

Calcite系列(一)：背景介绍

Yiwenwu

腾讯 · 后台开发工程师 (已认证)

21天前2024-04-15 07:47:46

Apache Calcite是一款开源的动态数据管理框架，提供了标准的 SQL 语言、查询优化和连接各种数据源的能力，但不包括数据存储、处理数据的算法和存储元数...

29691

【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式

jhonye

腾讯 · 开发工程师 (已认证)

2023-10-312023-10-31 16:54:59

湖仓一体（Lakehouse）是近年来比较火的大数据概念，它将数据湖（Data Lake）和数据仓库（Data Warehouse）的优势结合起来，为企业提供了...

1.5K210

腾讯云DLC(数据湖计算)重磅支持Apache Hudi

ApacheHudi 2023-02-282023-02-28 11:17:40

数据湖计算 DLC 通过类 SaaS 化的服务设计，为客户提供云原生企业级敏捷智能数据湖解决方案，具备以下特点：

1.2K30

湖仓一体电商项目（二十四）：合并Iceberg小文件

Lansonli 2022-10-272022-10-27 04:25:17

Iceberg表每次commit都会生成一个parquet数据文件，有可能一张Iceberg表对应的数据文件非常多，那么我们通过Java Api 方式对Iceb...

1.7K101

湖仓一体电商项目（二十三）：离线业务统计每天用户商品浏览所获积分

Lansonli 2022-12-142022-12-14 16:37:47

使用Iceberg构建湖仓一体架构进行数据仓库分层，通过Flink操作各层数据同步到Iceberg中做到的离线与实时数据一致，当项目中有一些离线临时性的需求时，...

29040

#数据湖计算 DLC

大数据平台：统一元数据管理

Presto CBO统计元数据

Spark CBO统计元数据

Hive CBO优化剖析

Calcite系列(十二)：可插拔性&JDBC驱动

Calcite系列(十一)：物化视图

Calcite系列(十)：执行流程-计划树执行

Calcite系列(九)：执行流程-优化器优化

Calcite系列(八)：执行流程-计划树构建

Calcite系列(七)：执行流程-合法性校验

Calcite系列(六)：执行流程-语法解析

Calcite系列(五)：执行流程-概览

Calcite系列(四)：核心概念-Adapter

Calcite系列(三)：核心概念-Convention

Calcite系列(二)：核心概念-关系代数

Calcite系列(一)：背景介绍

【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式

腾讯云DLC(数据湖计算)重磅支持Apache Hudi

湖仓一体电商项目（二十四）：合并Iceberg小文件

湖仓一体电商项目（二十三）：离线业务统计每天用户商品浏览所获积分

相关产品

热门专栏

Lansonli技术博客

Calcite剖析

大数据&分布式

DataFunTalk

随手写个文章

热门标签

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐