当前位置：主页 > 查看内容

Hadoop集群环境搭建

发布时间：2021-05-21 00:00| 有位朋友查看

简介：Hadoop集群环境搭建 1环境需求本文是用过Vmware搭建的三台linux虚拟机。 Vmware安装包自取 Mac:链接:https://pan.baidu.com/s/1unYcc_hc9SA5O5-QvZFe-A 密码:h20j Windows:链接:https://pan.baidu.com/s/1Z5y1DsnT-CmWcGHADd6WwQ 密码:5v0w 2.hadoop集群搭……

Hadoop集群环境搭建

1环境需求

本文是用过Vmware搭建的三台linux虚拟机。

Vmware安装包自取

Mac:链接:https://pan.baidu.com/s/1unYcc_hc9SA5O5-QvZFe-A 密码:h20j

Windows:链接:https://pan.baidu.com/s/1Z5y1DsnT-CmWcGHADd6WwQ 密码:5v0w

2.hadoop集群搭建

2.1linux环境配置（需要三台linux虚拟机都执行）

2.1.1 关闭防火墙（本地环境访问更加方便，不必频繁的开通网络策略）

#关闭防火墙
systemctl stop firewalld

#开机禁止启动
systemctl disable firewalld

2.1.2关闭setlinux

sudo vim /etc/sysconfig/selinux

#添加一行这个配置即可
SELINUX=disabled

2.2.3 更改主机名并做IP映射

vi /etc/hostname

# 安装自己的想法分别添加配置
node01.xx.com
node02.xx.com
node03.xx.com

添加主机名ip映射

vi /etc/hosts

ip1 node01.xx.com node01
ip2 node02.xx.com node02
ip3 node03.xx.com node03

2.2.4 同步时钟(通过网络进行时钟同步)

#1.安装 ntpdate
yum -y install ntpdate

#2.设置阿里云服务器
ntpdate ntp4.aliyun.com

#3.设置定时任务
crontab -e

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

2.2.5添加hadoop用户（赋予sudo权限，以后的大数据相关的安装使用的都是这个用户）

#添加用户
useradd hadoop
#设置密码 根据提示 输入密码即可
passwd hadoop

#添加权限

visudo
#增加如下配置
hadoop ALL=(ALL)    ALL

2.2.6 对hadoop定义统一目录（更加规范）

mkdir -p /xx/soft   # 软件压缩包存放目录
mkdir -p /xx/install # 软件解压后存放目录
chown -R hadoop:hadoop /xx  # 将文件夹权限更改为hadoop用户

#创建完haddoop用户后记住，以后的操作都使用hadoop用户即可
#切换hadoop用户
su hadoop

2.2.7 设置三台linux服务器免密码登录

未来的场景中，三台linux服务器之间要经过各种交互。如果相互访问需要密码，会存在很多麻烦。

以下的操作都是hadoop用户

#1.三台机器都声称 公钥和私钥
ssh-keygen -t rsa

#2.三台机器执行命令拷贝公钥到node01服务器
ssh-copy-id node01

#3.降node01的公钥copy到其他服务器上
#注意.ssh是隐藏文件 $PWD 是当前文件目录，意味copy到其他服务器上的相同目录下
cd /home/hadoop/.ssh/
scp authorized_keys node02:$PWD
scp authorized_keys node03:$PWD

#4.验证（看是否还需要密码，不需要即配置成功）
ssh node02
ssh node03

#5.重启服务器
sudo shutdown -r now
sudo reboot -h now

3.1 jdk安装与配置

1.上传本地包到三台liunx虚拟机的安装目录

#分别上传安装包
scp -r /path/jdk1.8.0_141 hadoop@localhost:/xx/soft

#安装
tar -xzvf jdk-8u141-linux-x64.tar.gz -C /zy/install/

#配置环境
sudo vim /ect/profile

#2.添加环境变量
export JAVA_HOME=/zy/install/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

#3.加载配置
source /etc/profile

准备好后建议打个快照，方便后边环境搭建失败后恢复，不至于从头返工

4…hadoop集群搭建

4.1.规划

如果openssl为fasle,那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了

sudo yum -y install openssl-devel

4.3.修改配置（配置文件均在/xx/install/hadoop-3.1.4/etc/hadoop/目录下）

注意以下的配置都是在node01节点操作切记

4.3.1修改hadoop-env.sh

vim hadoop-env.sh
#添加jdk配置
export JAVA_HOME=/zy/install/jdk1.8.0_141

4.3.2 修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
      <!-- 注意配置到自己的目录上，不要配置错误 -->
        <value>/xx/install/hadoop-3.1.4/hadoopDatas/tempDatas</value>
    </property>
    <!--  缓冲区大小，实际工作中根据服务器性能动态调整；默认值4096 -->
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
    </property>
    <!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟；默认值0 -->
    <property>
        <name>fs.trash.interval</name>
        <value>10080</value>
    </property>
</configuration>

4.3.3 修改hdfs-site.xml

<configuration>
    <!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
    <!--   集群动态上下线 
    <property>
        <name>dfs.hosts</name>
        <value>/xx/install/hadoop-3.1.4/etc/hadoop/accept_host</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/xx/install/hadoop-3.1.4/etc/hadoop/deny_host</value>
    </property>
     -->
     <property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>node01:9868</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>node01:9870</value>
    </property>
    <!-- namenode保存fsimage的路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///xx/install/hadoop-3.1.4/hadoopDatas/namenodeDatas</value>
    </property>
    <!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///xx/install/hadoop-3.1.4/hadoopDatas/datanodeDatas</value>
    </property>
    <!-- namenode保存editslog的目录 -->
    <property>
        <name>dfs.namenode.edits.dir</name>
        <value>file:///xx/install/hadoop-3.1.4/hadoopDatas/dfs/nn/edits</value>
    </property>
    <!-- secondarynamenode保存待合并的fsimage -->
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>file:///xx/install/hadoop-3.1.4/hadoopDatas/dfs/snn/name</value>
    </property>
    <!-- secondarynamenode保存待合并的editslog -->
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>file:///xx/install/hadoop-3.1.4/hadoopDatas/dfs/nn/snn/edits</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
	<property>
        <name>dfs.blocksize</name>
        <value>134217728</value>
    </property>
</configuration>

4.3.4 修改mapred-site.xml

configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.job.ubertask.enable</name>
        <value>true</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>node01:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>node01:19888</value>
    </property>
        <property>
        <name>yarn.app.mapreduce.am.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.map.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
    <property>
        <name>mapreduce.reduce.env</name>
        <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
    </property>
</configuration>

4.3.5 修改yarn-site.xml

<configuration>
    <property>
       <name>yarn.resourcemanager.hostname</name>
        <value>node01</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 如果vmem、pmem资源不够，会报错，此处将资源监察置为false -->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

4.3.6修改workers文件

vim workers
# 替换为如下
node01
node02
node03

4.4 创建文件存放目录（都是刚刚修改的配置文件中制定的文件目录地址）

node01上执行

mkdir -p /xx/install/hadoop-3.1.4/hadoopDatas/tempDatas
mkdir -p /xx/install/hadoop-3.1.4/hadoopDatas/namenodeDatas
mkdir -p /xx/install/hadoop-3.1.4/hadoopDatas/datanodeDatas 
mkdir -p /xx/install/hadoop-3.1.4/hadoopDatas/dfs/nn/edits
mkdir -p /xx/install/hadoop-3.1.4/hadoopDatas/dfs/snn/name
mkdir -p /xx/install/hadoop-3.1.4/hadoopDatas/dfs/nn/snn/edits

4.5 分发安装包

scp -r hadoop-3.1.4/ node02:$PWD
scp -r hadoop-3.1.4/ node03:$PWD

4.6 hadoop环境变量配置

#三台机器都要进行配置hadoop的环境变量
vim /etc/profile
#添加如下配置，生效即可
export HADOOP_HOME=/xx/install/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

#验证
hadoop

4.7 格式化集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。格式化操作只有在首次启动的时候需要，以后再也不需要了
node01执行一遍即可

#两个命令都可以
hdfs namenode -format
hadoop namenode –format

出现标注所示，即为成功。

在这里插入图片描述

4.8启动集群

4.8.1 原生脚本启动

如果配置了 etc/hadoop/workers 和 ssh 免密登录(上边步骤均有配置)，则可以使用程序脚本启动所有Hadoop 两个集群的相关进程，在主节点所设定的机器上执行。

start

start-dfs.sh
start-yarn.sh
mapred --daemon start historyserver

stop

stop-dfs.sh
stop-yarn.sh 
mapred --daemon stop historyserver

4.8.2 单个进程逐个启动

# 根据集群职责的划分分别在不同的机器上启动对应的进程即可
hdfs --daemon start namenode

hdfs --daemon start secondarynamenode

hdfs --daemon start datanode

yarn --daemon start resourcemanager

yarn --daemon start nodemanager

4.8.3编写一键启动脚本

cd /home/hadoop/bin/
vim hadoop.sh

#!/bin/bash
case $1 in
"start" ){
 source /etc/profile;
 /kkb/install/hadoop-3.1.4/sbin/start-dfs.sh
 /kkb/install/hadoop-3.1.4/sbin/start-yarn.sh
 #/kkb/install/hadoop-3.1.4/sbin/mr-jobhistory-daemon.sh start historyserver
 /kkb/install/hadoop-3.1.4/bin/mapred --daemon start historyserver
};;
"stop"){

 /kkb/install/hadoop-3.1.4/sbin/stop-dfs.sh
 /kkb/install/hadoop-3.1.4/sbin/stop-yarn.sh
 #/kkb/install/hadoop-3.1.4/sbin/mr-jobhistory-daemon.sh stop  historyserver
 /kkb/install/hadoop-3.1.4/bin/mapred --daemon stop historyserver
};;
esac

修改脚本权限

chmod 777 hadoop.sh

#START
./hadoop.sh start
#STOP
./hadoop.sh stop

4.9 验证集群

1.访问ui界面

###### 1. 访问web ui界面

- hdfs集群访问地址

http://ip:9870/

- yarn集群访问地址

http://ip:8088

- jobhistory访问地址：

http://ip19888

2.查看进程

jps
自己编写脚本

 vim xcall

#!/bin/bash

params=$@
for (( i=1 ; i <= 3 ; i = $i + 1 )) ; do
    echo ============= node0$i $params =============
    ssh node0$i "source /etc/profile;$params"
done

授权

chmod 777  /home/hadoop/bin/xcall
# 执行 
xcall jps

在这里插入图片描述

4.8.4 运行mapreduce任务

hadoop jar /zy/install/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.4.jar pi 5 5

在这里插入图片描述

提醒：如果要关闭电脑时，清一定要按照以下顺序操作，否则集群可能会出问题

关闭hadoop集群
关闭虚拟机
关闭电脑

；原文链接：https://blog.csdn.net/weixin_39034379/article/details/115484584
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！

上一篇：ClickHouse集群安装部署流程（踩坑解决） 下一篇：五十六、HBase的优化

随机推荐

从生命周期的角度来规划数据库运维体系

最近在和团队规划OKR目标的时候，我们讨论了很多问题，我先抛砖引玉，列举了一些...
数据库：分享四个实用的SQL Server脚本函

今天给大家分享四个在实际开发中，比较实用的SQL Server脚本函数，希望对大家能...
12CR2 RAC安装避坑指南（Redhat7）

一、导读本文主要介绍Redhat7.6系统安装oracle 12201版本RAC的一些坑以及避坑方...
ASP Eval、Execute、ExecuteGlobal区别分

Eval 计算一个表达式的值并返回结果。语法：[result = ]eval_r(expression_r) e...
正确使用HTML title属性的一些建议

如果你想对使用手机，平板电脑和辅助技术的用户隐藏某些内容，而只对键盘用户显...
RSS的语言编码大全

Afrikaans:af Albanian:sq Basque:eu Belarusian:be Bulgarian:bg Catalan:ca Ch...
RabbitMQ简介以及使用场景

一. RabbitMQ 简介 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用...
架构可视化支撑系统演进探索

本文分享自华为云社区《架构可视化支撑系统演进探索》原文作者无名小溪。随着...
Ajax调用restful接口传送Json格式数据的

ajax传送json格式数据，关键是指定contentType，data要是json格式如果是restful...
TeLOS Linux，基于 Debian 的全新 Linux

Linux 发行版的爱好者们又有全新的 Linux 可以体验了，日前一款名为 TeLOS 的 Li...

Hadoop集群环境搭建

Hadoop集群环境搭建

1环境需求

2.hadoop集群搭建

2.1linux环境配置（需要三台linux虚拟机都执行）

2.1.1 关闭防火墙 （本地环境访问更加方便，不必频繁的开通网络策略）

2.1.2关闭setlinux

2.2.3 更改主机名并做IP映射

2.2.4 同步时钟(通过网络进行时钟同步)

2.2.5添加hadoop用户（赋予sudo权限，以后的大数据相关的安装使用的都是这个用户）

2.2.6 对hadoop定义统一目录（更加规范）

2.2.7 设置三台linux服务器免密码登录

3.1 jdk安装与配置

4…hadoop集群搭建

4.1.规划

4.3.修改配置（ 配置文件均在/xx/install/hadoop-3.1.4/etc/hadoop/目录下）

4.3.1修改hadoop-env.sh

4.3.2 修改core-site.xml

4.3.3 修改hdfs-site.xml

4.3.4 修改mapred-site.xml

4.3.5 修改yarn-site.xml

4.3.6修改workers文件

4.4 创建文件存放目录（都是刚刚修改的配置文件中制定的文件目录地址）

4.5 分发安装包

4.6 hadoop环境变量配置

4.7 格式化集群

4.8启动集群

4.8.1 原生 脚本启动

4.8.2 单个进程逐个启动

4.8.3编写一键启动脚本

4.9 验证集群

1.访问ui界面

2.查看进程

4.8.4 运行mapreduce任务

推荐图文

随机推荐

关于我们

2.1.1 关闭防火墙（本地环境访问更加方便，不必频繁的开通网络策略）

4.3.修改配置（配置文件均在/xx/install/hadoop-3.1.4/etc/hadoop/目录下）

4.8.1 原生脚本启动