在Apache Hadoop官网可下载Hadoop生态部分核心组件,同时也可查阅Hadoop各版本说明及操作指南以
及各版本Hadoop源码,在下载时注意选择镜像站点,推荐在清华站点或者阿里云站点进行下载,在后续的其他核
心组件下载安装时也是如此。
在前述的操作中,我们已经完成了Hadoop的安装,此时我们进入到Hadoop文件中简单查看其内部文件结构
基本结构如下
bin(binary)二进制执行文件目录,是Hadoop最基本的
管理脚本和使用脚本所在目录,是sbin文件
中脚本的基础实现,用户可以使用其直接
管理和使用hadoopsbin Hadoop管理脚本所在目录,主要包含hdfs、yarn
等各核心组件启动、关闭服务脚本etcHadoop配置文件所在目录,Hadoop生态中
各组件都是通过修改配置文件来进行不同
模式的运行share Hadoop各模块编译后jar包所在目录lib Hadoop对外的编程动态库和静态库,与include中的
头文件配合使用include 包含对外的编程头文件libexec 各服务对应的shell配置文件所在目录
配置Hadoop环境变量
在命令行中输入
在弹出的框体中输入i进入编辑模式,然后输入下述内容
vim ~/.profile
#Hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
按esc退出编辑模式,输入:wq保存并退出
在命令行中输入
使之生效。
注:在后续环境变量设置中,将不再反复赘述编辑器打开关闭过程,只对需要更改的环境变量内容进行说
明。
检验Hadoop是否安装成功
在命令行中输入
source ~/.profile
hadoop version
暂无数据