前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >hadoop重新编译

hadoop重新编译

作者头像
Dlimeng
发布2023-06-28 17:12:06
1510
发布2023-06-28 17:12:06
举报
文章被收录于专栏:开源心路开源心路

yum -y install ?lzo-devel ?zlib-devel ?gcc autoconf automake libtool gcc-c++ openssl-devel ncurses-devel ? ?

ant maven protocolbuf ?findbugs ? cmake ? ?

1、Protobuf 编译安装 ?

tar -zxvf protobuf-2.5.0.tar.gz

cd protobuf-2.5.0 ?

./configure --prefix=/usr/local/protobuf

make

make install ?

2、Ant 安装 ?

tar -zxvf apache-ant-1.9.2-bin.tar.gz

mv apache-ant-1.9.2/ /usr/local/ant

3、编译前的准备maven,官方下载地址

wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.zip

maven 安装 ?

tar -zxvf apache-maven-3.0.5-bin.tar.gz

mv apache-maven-3.0.5/ /usr/local/maven ?

4、findbugs 安装 ?

tar -zxfv findbugs-2.0.2.tar.gz ?

mv findbugs-2.0.2/ /usr/local/findbugs ?

5、cmake 编译安装 ?

tar -zvxf cmake-2.8.6.tar.gz

cd cmake-2.8.6

./bootstrap

gmake

make

make install

6、下载对应的64位的JDK

#java 安装 /usr/local/jdk1.7.0_45

7、配置环境

vi /etc/profile

#java

export JAVA_HOME=/usr/local/jdk1.7.0_45

export JRE_HOME=/usr/local/jdk1.7.0_45/jre

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

#maven

export MAVEN_HOME=/usr/local/maven

export MAVEN_OPTS="-Xms256m -Xmx512m"

export CLASSPATH=.:$CLASSPATH:$MAVEN_HOME/lib

export PATH=$PATH:$MAVEN_HOME/bin

#protobuf

export PROTOBUF_HOME=/usr/local/protobuf

export CLASSPATH=.:$CLASSPATH:$PROTOBUF_HOME/lib

export PATH=$PATH:$PROTOBUF_HOME/bin

#ant

export ANT_HOME=/usr/local/ant

export CLASSPATH=.:$CLASSPATH:$ANT_HOME/lib

export PATH=$PATH:$ANT_HOME/bin

#findbugs

export FINDBUGS_HOME=/usr/local/findbugs

export CLASSPATH=.:$CLASSPATH:$FINDBUGS_HOME/lib

export PATH=$PATH:$FINDBUGS_HOME/bin

source /etc/profile

8、如果是你32bit的机器,可以直接下载官方已经编译好的包,64bit的机子跑编译好的包跑不了。

由于maven国外服务器可能连不上,先给maven配置一下国内镜像,在maven目录下,conf/settings.xml,在里添加,原本的不要动

hadoop源码地址下:

cd hadoop-maven-plugins

mvn install

9、首先官方下载hadoop源码

wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0-src.tar.gz ?

编译clean

cd hadoop2.2.0-src ?

mvn clean install –DskipTests ?

目前的2.2.0 的Source Code 压缩包解压出来的code有个bug 需要patch后才能编译。否则编译hadoop-auth 会提示错误:

vi /hadoop-2.2.0/hadoop-common-project/hadoop-auth/pom.xml ?

org.mortbay.jetty

jetty

test

在上面代码后添加下面代码

org.mortbay.jetty

jetty-util

test

注:不更改可能报下面错位

[ERROR] ?Failed ?to ?execute ?goal ?org.apache.maven.plugins:maven-compiler-plugin:2.5.1:testCompile (default-testCompile) on project hadoop-auth: Compilation failure: Compilation failure: ?---------------------------------------------------------------------------------------------- ?

ok,现在可以进行编译了

mvn clean package -Pdist,native -DskipTests -Dtar ?

如果出现错误可以加上-X显示错误详细信息:

mvn -X package -DskipTests -Pdist,native –Dtar ?

通过mvn package总是失败,可以考虑通过mvn compile来,如下:

mvn compile -Pdist,native -Dskiptests -Dtar?

慢慢等吧!

本文参与?腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017-04-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客?前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与?腾讯云自媒体分享计划? ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
http://www.vxiaotou.com