• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    详解Hadoop2.7.2 编译64位源码

    一、环境准备

    1.CentOS配置

    最好是用新克隆的虚拟机 ,虚拟机内存设置大一点(我设置的4G),配置网络,主机名,关闭防火墙,关闭selinux
    注意:采用root角色编译,减少文件夹权限出现问题

    2.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)

    (1)hadoop-2.7.2-src.tar.gz
    (2)jdk-8u144-linux-x64.tar.gz
    (3)apache-ant-1.9.9-bin.tar.gz(build工具,打包用的)
    (4)apache-maven-3.0.5-bin.tar.gz
    (5)protobuf-2.5.0.tar.gz(序列化的框架)

    3.jar包安装(注意:所有操作必须在root用户下完成)

    JDK

    1.解压

    tar -zxf jdk-8u141-linux-x64.tar.gz -C /export/compile

    2.配置环境变量

    vim /etc/profile
    export JAVA_HOME=/export/compile/jdk1.8.0_141
    export PATH=$PATH:$JAVA_HOME/bin

    3.更新profile文件

    source /etc/profile

    4.验证安装是否成功

    验证命令:jps  出现jps进程表示安装配置成功

    2.Maven

    1.解压重命名

    tar -zxf apache-maven-3.0.5-bin.tar.gz -C /export/compile
    mv /export/compile/apache-maven-3.0.5-bin.tar.gz /export/compile/maven

    2.修改配置文件

    vim /export/compile/maven/conf/settings.xml

    添加阿里云镜像地址:

    mirrors>
     mirror>
     id>nexus-aliyun/id>
     mirrorOf>central/mirrorOf>
     name>Nexus aliyun/name>
     url>http://maven.aliyun.com/nexus/content/groups/public/url>
     /mirror>
    /mirrors>
    
    

    3.配置环境变量

    vim /etc/profile
    export MAVEN_HOME=/export/compile/maven
    export PATH=$PATH:$MAVEN_HOME/bin

    4.更新profile文件

    source /etc/profile

    5.验证安装是否成功

    验证命令:mvn -version   出现版本信息表示安装成功

    3.ant

    1.解压重命名

    tar -zxf apache-ant-1.9.9-bin.tar.gz -C /export/compile
    mv apache-ant-1.9.9 ant

    2.配置环境变量

    vim /etc/profile
    export ANT_HOME=/export/compile/ant
    export PATH=$PATH:$ANT_HOME/bin

    3.更新profile文件

    source /etc/profile

    4.验证安装是否成功

    验证命令:ant -version   出现版本信息表示安装成功

    4.glibc-headers

    yum -y install glibc-headers
    yum -y install gcc-c++

    5.make和cmake

    yum -y install make
    yum -y install cmake

    6.protobuf

    1.解压重命名进入protobuf根目录

    tar -zxf protobuf-2.5.0.tar.gz -C /export/compile
    mv protobuf-2.5.0/ protobuf
    cd /export/compile/protobuf

    2.依次执行如下命令

    1 ./configure
    2 make
    3 make check
    4 make install
    5 ldconfig

    3.配置环境变量

    vim /etc/profile
    export LD_LIBRARY_PATH=/export/compile/protobuf
    export PATH=$PATH:$LD_LIBRARY_PATH
    
    

    4.更新profile文件

    source /etc/profile

    5.验证安装是否成功

    验证命令:protoc --version  出现版本信息表示安装成功

    7.安装openssl库

    yum -y install openssl-devel

    8.安装 ncurses-devel库

    yum -y install ncurses-devel

    二、编译源码

    1.解压

    tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile

    2.进入hadoop源码主目录

    /export/compile/hadoop-2.7.2-src

    3.通过maven执行编译命令

    mvn package -Pdist,native -DskipTests -Dtar

    4.然后就是漫长的等待...(大约等待时间30分钟左右,最终成功是全部SUCCESS,如下图所示)

    5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target目录下

    三、编译源码过程中常见的问题及解决方案

    (1)MAVEN install时候JVM内存溢出

    原因以及处理方式:在环境配置文件和maven的执行文件均可调整MAVEN_OPT的heap大小。
    (详情查阅MAVEN 编译 JVM调优问题,如:http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method)

    (2)编译期间maven报错

    原因以及处理方式:可能网络阻塞问题导致依赖库下载不完整导致,多次执行命令(一次通过比较难):

    mvn package -Pdist,nativeN -DskipTests -Dtar

    (3)报ant、protobuf等错误

    原因以及处理方式:插件下载未完整或者插件版本问题,最开始链接有较多特殊情况。

    总结

    到此这篇关于Hadoop2.7.2 编译64位源码的文章就介绍到这了,更多相关Hadoop 编译源码内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

    您可能感兴趣的文章:
    • 基于 ZooKeeper 搭建 Hadoop 高可用集群 的教程图解
    • Hadoop的安装与环境搭建教程图解
    • ubantu 16.4下Hadoop完全分布式搭建实战教程
    • 在CentOS中搭建Hadoop的详细步骤
    上一篇:详解Google Protobuf简明教程
    下一篇:VSCode提高 Node 和 Vue 开发效率的插件推荐
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    详解Hadoop2.7.2 编译64位源码 详解,Hadoop2.7.2,编译,64位,