在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。
HDFS(Hadoop Distributed File System)是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据 (比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS 使用多台计算机存储文件, 并且提供统一的访问接口。
HDFS是根据谷歌的论文:《The Google File System》进行设计的
HDFS的四个基本组件:HDFS Client、NameNode、DataNode和Secondary NameNode。
Client是客户端。HDFS Client文件切分。文件上传 HDFS 的时候,Client 将文件切分成 一个一个的Block,然后进行存储。Client 提供一些命令来管理 和访问HDFS,比如启动或者关闭HDFS。
NameNode就是 master,它是一个主管、管理者。管理 HDFS 元数据(文件路径,文件的大小,文件的名字,文件权限,文件的block切片信息)。
NameNode管理 Block 副本策略:默认 3 个副本,处理客户端读写请求。
DataNode就是Slave。NameNode下达命令,DataNode 执行实际的操作。
DataNode存储实际的数据块,执行数据块的读/写操作。定时向namenode汇报block信息。
SecondaryNameNode不是NameNode的备份。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。
辅助 NameNode,分担其工作量。在紧急情况下,可辅助恢复 NameNode。
HDFS被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块,这个数据块被称为block,除了最后一个,所有的数据块都是同样大小的。
为了容错,文件的所有block都会有副本。每个文件的数据块大小和副本系数都是可配置的。
在hadoop2 当中, 文件的 block 块大小默认是 「128M」(134217728字节)。
如上图所示,一个大小为300M的a.txt上传到HDFS中,需要进行128M的切分,不足128M分为到另一block中。
根据部署的服务,我们的 HDFS 根目录是 hdfs://192.168.147.128:9820,下面我们尝试在根目录下面创建子目录 user,如下命令所示:
- [hadoop@node01 ~]$ hadoop fs -mkdir /user
然后在Hadoop页面打开HDFS。
此时的user文件夹将会看见。
下面将一个大小为300M的文件上传到HDFS的user文件夹中
然后在Hadoop页面看见刚刚上传的文件。
此时被分开了三个block。
点击download,即可下载。
1 何为智能化商业时代?先从一个生活中的小事说起,近期我一个朋友准备拍婚纱照,...
大家好,欢迎来到前端专题。 今天是freecodecamp中HTML专题训练的第二篇。 背景...
TOP云 域名 怎么实名认证?TOP云的域名实名非常简单,按照以下步骤即可快速完成...
三个课堂解决方案 方案架构分为终端层、支撑层、平台层、应用层。其中平台层分为...
面向餐饮行业,提供全渠道会员管理和营销平台。集成全渠道会员信息、订单信息、...
域名 过户哪个网不实名?域名如果涉及到过户,其实相当于交易。只要交易,目前基...
本文转载自微信公众号「前端UpUp」,作者前端UpUp。转载本文请联系前端UpUp公众...
操作场景 停止服务器,即对裸金属服务器执行关机操作。停止服务器的前提条件是裸...
云命令行为工具型产品,辅助您管理在阿里云上的资源或服务。目前免费使用,不收...
域名 未实名怎么操作?在我国很多域名都是强制要求实名认证的,如果不实名认证,...