Hadoop伪分布式如何配置Namenode集群？

原创

Kami米雅

修改于 2021-11-09 09:57:56

5050

修改于 2021-11-09 09:57:56

1、配置配置文件(一): vi etc/hadoop/core-site.xml

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

<property>
        <name>hadpp.tmp.dir</name>
        <value>hdfs:/usr/local/module/hadoop-3.2.2/data/tmp</value>
    </property>

配置文件（二）：hadoop-env.sh Linux系统获取JDK的安装路径并修改 echo $JAVA_HOME export JAVA_HOME=实际路径

配置文件（三）：hdfs-site.xml HDFS副本数修改为1，默认3

    <name>dfs.replication</name>
    <value>1</value>

2、启动集群 （1）格式化NameNode （第一次启动时格式化，以后不用一直格式化）

（2）启动NameNode

(3) 启动DataNode

3、查看集群 jps （意思是java进程）

4、访问后台 ip:50070 重点关注下 Utilities 模块

创建文件夹 bin/hdfs dfs -mkdir -p 文件夹路径/文件名移动文件 bin/hdfs dfs -put 当前文件路径目标文件夹路径 5、测试workcount案例

注意：如果输出数据源文件如果存在，会抛错的！

6、查看日志日志目录 handoop的安装路径下/logs

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

作者已关闭评论

0 条评论

热度