hadoop安装与搭建hdfs

配置前必看

本帖的主要目的是用最平实的语言描述配置的进程，同时在每个章节为可能涉及的知识点提供相应的网站以供读者学习。最重要的还是给我自己留个配置的日记。这样Linux玩崩了也能找到回家的路。

1. 本帖主要涉及的目录一共有三个，如有需要，在根目录/下创建export目录存放以下三个目录(建议)。(解压目录)servers、(软件安装目录)software、(数据/日志目录)data。如果自己的目录与本帖的目录不一样，请按照自己实际情况来
2. 本帖基于centos 7.9配置，因此配置本帖软件请先安装好系统后将软件包上传并解压好
3. 如若配置中报错，请第一时间查看前置软件是否正确安装配置并正常运行其次查看是否兼容性问题。
4. 本帖所有命令都在root用户下执行如果非root用户，请在命令前添加sudo

前置准备

镜像:

• centos-7.9镜像: 下载地址
• 阿里镜像站: 下载地址

软件

• jdk-8u231: 下载地址
• hadoop-3.2.1: 下载地址

环境

• 准备三台虚拟机，虚拟机主机名为master、slave1、slave2

安装与配置

1.解压

查看自己的虚拟机上是否已经上传好软件至software

将Hadoop与jdk解压至servers中依次执行以下命令

tar -zxvf hadoop-3.2.1.tar.gz /export/servers

tar -zxvf jdk-8u231-linux-x64.tar.gz /export/servers

2.配置环境变量

执行以下命令，将jdk与hadoop目录路径依次添加到/etc/profile底部

vi /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/export/servers/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新环境变量

source /etc/profile

验证，如果出现版本号就证明安装成功

java -version

hadoop version

环境搭建

1.查看主机名与hosts文件

查看自己的三台虚拟机主机名是否都已经更改、hosts文件是否都已经正确添加地址

hostname

如果没修改主机名请使用以下命令

hostnamectl set-hostname 新的主机名

修改完后重启

reboot

查看与修改hosts文件

vi /etc/hosts

主机 192.168.100.128 master
从机 192.168.100.129 slave1
从机 192.168.100.130 slave2

如果没有添加，则输入命令 vim /etc/hosts进入文件，把东西写进去，键盘按i或者o进入编辑模式，编辑完毕，按esc输入:wq 保存退出

2.ssh配置

配置密钥文件（三台都要做）

生成密钥文件输入命令，生成key，都不输入密码，一直按回车，/root就会生成.ssh的文件夹

ssh-keygen -t rsa

分发密钥到其他节点

ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

测试登录，依次输入以下命令，退出输入exit

ssh master
ssh slave1
ssh slave2

3.命令同步脚本

创建脚本存储目录

cd /root/bin/

创建命令同步脚本文件

vi xcall

输入下列代码

#!/bin/bash
 if(($#==0))
 then
         echo "请输入参数"
         exit;
 fi
         echo "----------------master-----------------"
         ssh     master $@
 for((i=1;i<3;i++))
 do
         echo "----------------slave$i-----------------"
         ssh slave$i $@
 done
         echo "命令已执行完毕"

保存退出:wq赋予脚本权限chmod 777 xcall

配置文件

vi /root/.bashrc

在文件末尾追加下列代码

source /etc/profile

保存退出:wq

vi /etc/profile

在底部添加

export PATH=/root/bin:$PATH

保存退出:wq刷新文件source /etc/profile

注意：以上操作必须在三台机器都要执行。

检验实验脚本是否可以使用

xcall jps

4.文件同步脚本

创建脚本存储目录

cd /root/bin/

创建命令同步脚本文件

vi xsync

输入下列代码

#!/bin/bash
 if(($#!=1))
 then
         echo "只能输入一个参数"
         exit;
 fi
 dirpath=$(cd -P `dirname $1`;pwd)
 filename=$(basename $1)
         echo "-----------------master--------------"
 rsync -rvlt $dirpath/$filename root@master:$dirpath
 for((i=1;i<3;i++))
 do
        echo "-----------------slave$i----------------"
 rsync -rvlt $dirpath/$filename root@slave$i:$dirpath
 done
         echo "命令执行完毕"

保存退出:wq赋予脚本权限chmod 777 xsync

使用文件同步脚本将文件同步脚本分发到另外两台机器

xsync xsync

可以到其他节点的/root/bin目录下查看文件是否分发成功

如果提示rsync: 未找到命令，前提需要安装rsync，最小化安装系统的可能没有自带该命令包

yum install rsync

HDFS安装与配置

1.修改HDFS配置文件

进入目录

cd /export/servers/hadoop-3.2.1/etc/hadoop/

设置JDK安装目录，编辑文件hadoop-env.sh，在文件末尾加上jdk的安装路径,jdk的安装路径根据实际情况更改

vi hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_231

2.指定HDFS主节点

编辑文件core-site.xml，将如下内容嵌入此文件里最后两行的configuration标签之间（注意修改master名称为自己的名称，我的主机名就叫master）

vi core-site.xml

<property>
	<name>hadoop.tmp.dir</name>
	<value>/export/servers/hadoop-3.2.1/cloud</value>
</property>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:8020</value>
</property>

3.指定HDFS从节点

编辑文件workers,将slave1与slave2的hostname主机名称添加到文件中，将下列代码追加到文件末尾，同时删除localhost

vi workers

master
slave1
slave2

4.配置 yarn-site.xml

vi yarn-site.xml

输入如下代码，嵌入此文件里最后两行的configuration标签之间

<!-- Reducer获取数据的方式 -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>master</value>
</property>

5.配置 mapred-site.xml

vi mapred-site.xml

添加下列代码添加在configuration标签之间

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>
<property>
	<name>yarn.app.mapreduce.am.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
	<name>mapreduce.map.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
	<name>mapreduce.reduce.env</name>
	<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

6.配置 hdfs-site.xml

vi hdfs-site.xml

添加下列代码，添加在configuration标签之间

<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>slave2:50090</value>
</property>
<property>
	<name>dfs.replication</name>
	<value>3</value>
	<description>2</description>
</property>
<!--配置namenode的web界面-->
<property>
	<name>dfs.namenode.http-address</name>
	<value>master:50070</value>
</property>

7.配置 yarn-env.sh

vi yarn-env.sh

在文件末尾添加（jdk是你自己版本）

export JAVA_HOME=/export/servers/jdk1.8.0_231

8.配置 mapred-env.sh

vi mapred-env.sh

在文件末尾添加（注意JDK的版本号）

export JAVA_HOME=/export/servers/jdk1.8.0_231

9.拷贝文件

将整个hadoop解压包至其它服务器slave1、slave2

xsync方法scp方法

xsync /export/servers/hadoop-3.2.1

scp -r /export/servers/hadoop-3.2.1 slave1:/export/servers/hadoop-3.2.1

scp -r /export/servers/hadoop-3.2.1 slave2:/export/servers/hadoop-3.2.1

集群环境格式化及启动

格式化主节点：在master服务器上，进入到hadoop安装包的bin目录下

cd /export/servers/hadoop-3.2.1/bin

进行格式化

./hdfs namenode -format

在start-dfs.sh和stop-dfs.sh两个文件顶部添加以下参数

vi /export/servers/hadoop-3.2.1/sbin/start-dfs.sh

vi /export/servers/hadoop-3.2.1/sbin/stop-dfs.sh

添加下列内容

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh和stop-yarn.sh两个文件顶部也需添加以下内容

vi /export/servers/hadoop-3.2.1/sbin/start-yarn.sh

vi /export/servers/hadoop-3.2.1/sbin/stop-yarn.sh

添加下列内容

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=roo

用master结点启动Hadoop：在master结点中进入hadoop安装包的sbin目录下启动Hadoop

/export/servers/hadoop-3.2.1/sbin/start-all.sh

查看进程并验证HDFS环境

注意：这些东西一个都不能少

为了方便后续操作，我们可以把hadoop也添加到系统环境变量（三台节点上都要添加）

vi /etc/profile

将下述代码追加到文件末尾

export HADOOP_HOME=/export/servers/hadoop-3.2.1

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新文件

source /etc/profile

退出集群

stop-all.sh