《快学BigData》--Hadoop总结（A）（34）
《快学BigData》--Hadoop总结（A）（34）
Hadoop总结
谁说大象不能跳舞，大象能跳舞啊！！！！不过跳起来是笨重的、、、、、、
概述
Hadoop 是一个性能、可靠性、可扩展性、可管理性的软件，为以后的分布式打下了基础，接下来咱们好好的深刨一下这个有意思的框架。
因为MR是进程集运算，写代码的时候不注意线程安全的问题。
Hadoop 使用的是socket长连接，原理是一直保持着心跳，传送数据，再心跳的一个过程，短连接则是请求一次之后就关闭了，步骤是：连接→数据传输→关闭连接，例如银行就是使用的短连接。
CDH
CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。
Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。
详细的使用请查看：http://blog.csdn.net/xfg0218/article/details/52490971
和http://blog.csdn.net/xfg0218/article/details/54880533
安装Hadoop2.6.4 非Zookeeper集群版
此安装的是hadoop2.x版本，所以有YAEN的概念
1-1）、安装
[root@hadoop1 hadoop]# tar -zxvf hadoop-2.6.4.tar.gz
[root@hadoop1 hadoop-2.6.4]# cd etc/hadoop/
1-2）、修改配置文件
A）、修改core-site.xml
[root@hadoop1 hadoop]# vi core-site.xml
加入以下配置：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/tmpe</value>
</property>
</configuration>
B）、修改hadoop-env.sh
[root@hadoop1 hadoop]# vi hadoop-env.sh
加入以下配置：
export JAVA_HOME=/home/jdk/jdk1.7.0_76
C）、修改hdfs-site.xml
[root@hadoop1 hadoop]#vi hdfs-site.xml
加入以下配置：
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/data/name</value>
</property>
# 数据保存路径
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/data/data</value>
</property>
# 设置副本数
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
# http的请求地址
<property>
<name>dfs.secondary.http.address</name>
<value>hadoop1:50090</value>
</property>
# 管理权限的，如果这只为false可在win端直接把数据保存到HDFS上
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
D）、修改slaves
[root@hadoop1 hadoo]# cat slaves
加入以下配置：
hadoop1
hadoop2
hadoop3
E）、修改mapred-env.sh
[root@hadoop1 hadoop]# cat mapred-env.sh
加入以下配置：
export JAVA_HOME=/home/jdk/jdk1.7.0_76
F）、修改yarn-site.xml
[root@hadoop1 hadoop]# vi yarn-site.xml
加入以下配置：
<configuration>
# 设置namenode的节点的机器
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
G）、修改yarn-env.sh
[root@hadoop1 hadoop]# vi yarn-env.sh
添加JAVA路径
export JAVA_HOME=/home/jdk1.7
H）、创建文件夹
[root@hadoop1 hadoop]# mkdir - p /home/tmpe
[root@hadoop1 hadoop]# mkdir -p /home/hadoop/data/name
[root@hadoop1 hadoop]# mkdir -p /home/hadoop/data/data
1-3）、传送到其他的机器上
[root@hadoop1 local]# scp -r hadoop-2.6.4/ hadoop2:$PWD
[root@hadoop1 local]# scp -r hadoop-2.6.4/ hadoop3:/usr/local/
1-4）、Hadoop启动命令
在hadoop1集群的机器上格式化数据
[root@hadoop1 bin]# hadoop namenode -fromat
启动全部的进程：
[root@hadoop1 sbin]# ./start-all.sh
或者单独的启动程序：
[root@hadoop1 sbin]# ./start-dfs.sh
[root@hadoop1 sbin]# ./start-yarn.sh
1-5）、集群启动
[root@hadoop1 sbin]# ./start-all.sh
This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
Starting namenodes on [hadoop1]
hadoop1: starting namenode, logging to
hadoop1: starting datanode, logging to
hadoop3: starting datanode, logging to
hadoop2: starting datanode, logging to
Starting secondary namenodes [hadoop1]
hadoop1: starting secondarynamenode, logging
starting yarn daemons
starting resourcemanager, logging to
hadoop3: starting nodemanager, logging to
hadoop2: starting nodemanager, logging to
hadoop1: starting nodemanager, logging to
从上面的启动过程可以看出如果机器上有namenode先回启动namenode没有namenode则会启动datanode最后再启动secondarynamenode
1-6）、查看进程
查看进程：
[root@hadoop1 ~]# jps
7996 DataNode
8366 NodeManager
8733 Jps
8251 ResourceManager
[root@hadoop2 ~]# jps
5575 NodeManager
5783 Jps
5466 SecondaryNameNode
5369 DataNode
[root@hadoop3 ~]# jps
4615 Jps
4298 DataNode
4441 NodeManager
1-7）、启动脚本
[root@hadoop1 start_sh]# cat hadoop.sh
cd /usr/local/hadoop-2.6.4/sbin
./start-all.sh