腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
ApacheHudi
专栏作者
举报
187
文章
231338
阅读量
47
订阅数
订阅专栏
申请加入专栏
全部文章（187）
apache（63）
数据湖（58）
spark（53）
https（36）
数据库（34）
sql（34）
网络安全（32）
数据（31）
大数据（29）
hive（27）
存储（25）
flink（20）
kafka（16）
文件存储（15）
编程算法（14）
github（11）
api（10）
javascript（9）
数据处理（9）
架构（9）
java（8）
linux（7）
数据分析（7）
实践（7）
云数据库 SQL Server（6）
hadoop（6）
索引（6）
python（5）
jar（5）
TDSQL MySQL 版（5）
缓存（5）
数据结构（5）
hbase（5）
服务（5）
模型（5）
html（4）
unix（4）
数据迁移（4）
windows（4）
配置（4）
日志（4）
性能（4）
对象存储（3）
jquery（3）
git（3）
http（3）
uml（3）
实时数仓（3）
timeline（3）
并发（3）
工作（3）
数据仓库（3）
优化（3）
bash（2）
打包（2）
搜索引擎（2）
腾讯云测试服务（2）
开源（2）
数据可视化（2）
特征工程（2）
数据湖分析（2）
uber（2）
管理（2）
基础（2）
同步（2）
内容分发网络 CDN（1）
go（1）
xml（1）
json（1）
android（1）
ide（1）
全文检索（1）
海外加速（1）
日志数据（1）
电商（1）
金融（1）
出行（1）
数据安全（1）
serverless（1）
分布式（1）
运维（1）
shell（1）
推荐系统（1）
pytorch（1）
scikit-learn（1）
云数据库 postgresql（1）
数据湖计算 DLC（1）
emr（1）
实时etl（1）
实时bi（1）
腾讯云数据仓库?TCHouse（1）
数据集成（1）
core（1）
count（1）
explode（1）
olap（1）
parquet（1）
pipeline（1）
server（1）
sketch（1）
streamlit（1）
treemap（1）
upsert（1）
表格（1）
博客（1）
布局（1）
测试（1）
产品（1）
对象（1）
服务器（1）
接口（1）
客户端（1）
连接（1）
流量（1）
论文（1）
内核（1）
排序（1）
事件（1）
事务（1）
数据同步（1）
图表（1）
压缩（1）
异步（1）
搜索文章
搜索
搜索
关闭
使用 Apache Hudi + Daft + Streamlit 构建 Lakehouse 分析应用
apache
存储
streamlit
数据
优化
为了应对这些挑战，像 Streamlit[1] 这样的低代码工具作为 Python 生态系统的包装器，允许将 API、模型和业务逻辑变为现实。Streamlit 支持从数据库、API 和文件系统等各种来源轻松使用数据，从而轻松集成到应用程序中。在这篇博客中，我们将重点介绍如何使用直接来自开放湖仓一体平台的数据来构建数据应用。
ApacheHudi
2024-05-20
5
0
2024 年 4 月 Apache Hudi 社区新闻
apache
博客
架构
模型
数据
https://github.com/apache/hudi/pull/10949
ApacheHudi
2024-05-10
100
1
超硬核解析Apache Hudi 的一致性模型（第二部分）
apache
服务
模型
日志
图表
同样 v5 Hudi 规范说，确保时间戳是单调的实现是实现者的责任。非单调时间戳违反了规范。即便如此，也需要了解多个写入端之间时间戳冲突的影响。
ApacheHudi
2024-05-10
82
0
超硬核解析Apache Hudi 的一致性模型（第一部分）
apache
并发
工作
模型
排序
Hudi 更复杂并不意味着 Iceberg 更好，只是需要更多的工作来内化设计。复杂性的一个关键原因是 Hudi 在核心规范中加入了更多功能。Iceberg 目前只是一种表格式，而 Hudi 是一种具有多种查询类型的完全成熟的托管表格式。如果精通 Delta Lake 内部结构，会发现 Hudi 的设计与 Delta Lake 的设计有许多相似之处。
ApacheHudi
2024-04-30
92
0
揭秘Robinhood扩展和管理PB级规模Lakehouse架构
数据湖
管理
架构
数据
存储
Robinhood 团队成员高级工程师 Balaji Varadarajan 和技术主管 Pritam Dey 描述了他们公司的数据Lakehouse的实现，Robinhood 的数据团队如何基于 Apache Hudi 和相关 OSS 服务来处理数 PB 规模的指数级增长。
ApacheHudi
2024-04-26
111
0
Apache Hudi +MinIO + HMS构建现代数据湖
apache
存储
数据湖
管理
数据
我们已经探索了[1] MinIO 和 Hudi 如何协同工作来构建现代数据湖。这篇博文旨在以这些知识为基础，提供一种利用 Hive Metastore 服务 (HMS[2]) 的 Hudi 和 MinIO 的替代实现。部分源于 Hadoop 生态系统的起源故事，Hudi 的许多大规模数据实现仍然利用 HMS。通常从遗留系统的迁移故事涉及某种程度的混合，因为要利用所涉及的所有产品中最好的产品来取得成功。
ApacheHudi
2024-04-18
99
0
Apache Hudi从零到一：写入流程和操作（三）
apache
存储
客户端
数据
索引
在上一篇文章中，我们讨论了 Hudi 查询类型及其与 Spark 的集成。在这篇文章中，我们将深入研究另一个方面——写入流程，以 Spark 作为示例引擎。在写入数据时可以调整多种配置和设置。因此这篇文章的目的并不是作为完整的使用指南。相反主要目标是呈现内部数据流并分解所涉及的步骤。这将使读者更深入地了解运行和微调 Hudi 应用程序。各种实际使用示例请查阅Hudi的官方文档页面。
ApacheHudi
2024-04-11
222
0
Uber 基于Apache Hudi的超级数据基础设施
架构
数据
apache
数据湖
uber
Uber 是一个全球品牌，在全球 10,000 多个城市运营。该公司运营规模庞大，每月为超过 1.37 亿用户提供服务，每天为 2500 万次出行提供服务。数据驱动——乘客、司机和企业经营者采取的每一个行动。在如此规模的数据中，将所有这些活动的原始数据转化为业务洞察的技术挑战尤其困难，尤其是以高效且可靠的方式做到这一点。
ApacheHudi
2024-03-25
118
0
从 POC 到生产！Leboncoin 基于 Apache Hudi 构建 Lakehouse 实践
数据
数据仓库
apache
数据湖
实践
每天约有 800 万独立访问者访问 Leboncoin，到 2022 年，该网站每月有超过 1000 亿次 HTTP 调用并且启动和运行 700 个应用程序，使其成为访问量最大的法国网站之一。
ApacheHudi
2024-03-18
79
0
沃尔玛基于 Apache Hudi 构建 Lakehouse
apache
数据湖
架构
论文
数据
开源数据峰会上最有趣的会议之一是三级数据工程师 Ankur Ranjan 和高级数据工程师 Ayush Bijawat 的演讲，介绍他们在领先零售商沃尔玛中使用 Apache Hudi。
ApacheHudi
2024-03-18
69
0
金融信创湖仓一体数据平台架构实践
大数据
架构
实践
数据
金融
大数据基础设施的发展经历了四个主要阶段，每个阶段都有着标志性的技术进步来应对新的应用需求。
ApacheHudi
2024-03-18
137
0
降本百万！Notion 基于Apache Hudi构建LakeHouse
架构
数据
同步
apache
产品
这篇博文是由 Notion 数据平台团队的软件工程师 Thomas Chow 和 Nathan Louie 于 2023 年 12 月 13 日发表的题为 Notion's Journey Through Different Stages of Data Scale 的 Hudi 现场活动的简短摘要。下面的视频剪辑给出了Notion 演讲的简短摘要，还可以查看演讲幻灯片[1]或查看完整演讲[2]。
ApacheHudi
2024-03-06
122
0
Grab 基于 Apache Hudi 实现近乎实时的数据分析
事件
数据
索引
apache
数据分析
在数据处理领域，数据分析师在数据湖上运行其即席查询。数据湖充当分析和生产环境之间的接口，可防止下游查询影响上游数据引入管道。为了确保数据湖中的数据处理效率，选择合适的存储格式至关重要。
ApacheHudi
2024-02-27
136
0
滴滴OLAP的技术实践与发展方向
异步
olap
实践
数据
性能
导读本次分享题目为StarRocks物化视图在滴滴的实践，由来自滴滴出行的资深开发工程师刘雨飞老师带来经验分享。
ApacheHudi
2024-02-06
199
0
LakeHouse 还是 Warehouse？(1/2)
数据仓库
数据湖
工作
架构
数据
Onehouse 创始人/首席执行官 Vinoth Chandar 于 2022 年 3 月在奥斯汀数据委员会[1]发表了这一重要演讲。奥斯汀数据委员会是“世界上最大的独立全栈数据会议”，这是一个由社区驱动的活动，包括数据科学、数据工程、分析、机器学习 （ML）、人工智能 （AI） 等。
ApacheHudi
2024-01-23
139
0
通用数据湖仓一体架构正当时
数据仓库
数据湖
工作
架构
数据
这篇博文中提出的建议并不新鲜。事实上许多组织已经投入了数年时间和昂贵的数据工程团队的工作，以慢慢构建这种架构的某个版本。我知道这一点，因为我以前在Uber和LinkedIn做过这样的工程师。我还与数百个组织合作，在开源社区中构建它并朝着类似的目标迈进。
ApacheHudi
2024-01-17
166
0
Apache Hudi从零到一：深入研究读取流程和查询类型（二）
连接
数据
优化
apache
对象
在上一篇文章中，我们讨论了 Hudi 表中的数据布局，并介绍了 CoW 和 MoR 两种表类型，以及它们各自的权衡。在此基础上我们现在将探讨 Hudi 中的读取操作是如何工作的。
ApacheHudi
2024-01-10
348
0
Apache Hudi从零到一：存储格式初探（一）
apache
存储
布局
数据
优化
Hudi 是一个事务性数据湖平台，它将数据库和数据仓库功能引入数据湖。下图摘自 Hudi 社区举办的网络研讨会[1]，清楚地说明了该平台的主要功能
ApacheHudi
2023-12-26
390
0
火山引擎数据湖存储内核揭秘
存储
数据湖
服务
内核
数据
火山引擎LAS 全称（Lakehouse Analysis Service）湖仓一体分析服务，融合了湖与仓的优势，既能够利用湖的优势将所有数据存储到廉价存储中，供机器学习、数据分析等场景使用，又能基于数据湖构建数仓供 BI 报表等业务使用。本文将从统一的元数据服务和表操作管理服务两大方面，揭秘如何基于Hudi如何构建数据湖存储内核。
ApacheHudi
2023-12-13
222
0
记录级别索引：Apache Hudi 针对大型数据集的超快索引
apache
配置
数据
索引
性能
索引是一个关键组件，有助于 Hudi 写入端快速更新和删除，并且它在提高查询执行方面也发挥着关键作用。Hudi提供了多种索引类型，包括全局变化的Bloom索引和Simple索引、利用HBase服务的HBase索引、基于哈希的Bucket索引以及通过元数据表实现的多模态索引。索引的选择取决于表大小、分区数据分布或流量模式等因素，其中特定索引可能更适合更简单的操作或更好的性能。用户在为不同表选择索引类型时经常面临权衡，因为还没有一种能够以最小的操作开销促进写入和读取的通用性能索引。
ApacheHudi
2023-12-04
320
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
http://www.vxiaotou.com