前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Hive数据存储结构「建议收藏」

Hive数据存储结构「建议收藏」

作者头像
全栈程序员站长
发布2022-07-29 21:54:33
8050
发布2022-07-29 21:54:33
举报

大家好,又见面了,我是你们的朋友全栈君。

Hive数据存储:

Hive没有专门的数据存储格式,也没有为数据建立索引,用户可以自由组织Hive中的表,只需要在创建表的时候告诉Hive数据中的分隔符(列分隔和行分隔),Hive就可以解析数据。

hive的数据都存储在HDFS,我们这地方讲的存储主要只Hive中的数据模型存储。Hive中的数据模型主要由:数据库(Database)、表((table)内部表table、外部表external table)、分区(partition)、 桶(bucket)

Database:

在HDFS上对应相应的数据存储目录,通过hive的配置文件hive-site.xml的hive.metastore.warehouse.dir属性来配置。通过create database data_name命令创建。

table:

每个表在hive中都是Database路径下的一个存储目录。

Partition:

在hive中,表中的每个partition对应于表下的一个子存储目录

Buckets:

每个Buckets对应一个存储文件。如果表有分区,文件保存在分区目录下,如果没有分区,文件保存在表目录下。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/129767.html原文链接:https://javaforall.cn

本文参与?腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2022年4月1,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客?前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Hive数据存储:
    • Database:
      • table:
        • Partition:
          • Buckets:
          相关产品与服务
          对象存储
          对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
          http://www.vxiaotou.com