Hadoop集群部署踩坑笔记

1、模板虚拟机配置

安装模板虚拟机，IP地址 192.168.10.100 主机名称hadoop100、内存 4G、硬盘50G

配置磁盘分区

（1）手动添加分区

（2）添加boot区

（3）添加swap交换分区

（4）配置根目录

（5）分区配置完毕，点击接受更改

基础环境

切换阿里云yum镜像源后安装必要的软件包

shell

yum install -y epel-release net-tools vim

关闭防火墙，关闭防火墙开机自启

shell

systemctl stop firewalld
systemctl disable firewalld.service

/etc/hosts 配置

shell

192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104

使用非 root 账户，配置liu用户具有root权限，方便后期加sudo执行root权限的命令

shell

useradd liu
passwd liu

shell

vim /etc/sudoers

修改 /etc/sudoers 文件，在%wheel这行下面添加一行，如下所示：

shell

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
liu   ALL=(ALL)     NOPASSWD:ALL

注意：liu这一行不要直接放到root行下面，因为所有用户都属于wheel组，你先配置了liu具有免密功能，但是程序执行到%wheel行时，该功能又被覆盖回需要密码。所以liu要放到%wheel这行下面。

在/opt目录下创建文件夹，并修改所属主和所属组。

shell

mkdir /opt/module
mkdir /opt/software
chown liu:liu /opt/module
chown liu:liu /opt/software

卸载虚拟机自带的jdk（如果虚拟机是最小化安装不需要执行这一步）
rpm -qa：查询所安装的所有rpm软件包
grep -i：忽略大小写
xargs -n1：表示每次只传递一个参数
rpm -e –nodeps：强制卸载软件

shell

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

利用模板机hadoop 100 克隆三台虚拟机：hadoop102 hadoop103 hadoop104

2、hadoop集群

集群前置

角色	配置	IP
hadoop102	4核 8G 40G	192.168.10.102
hadoop103	4核 8G 40G	192.168.10.103
hadoop104	4核 8G 40G	192.168.10.104

jdk安装

shell

[liu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

shell

[liu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

shell

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

shell

[liu@hadoop102 ~]$ source /etc/profile

Hadoop安装

shell

[liu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

shell

[liu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh

添加如下内容

shell

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

shell

[liu@hadoop102 ~]$ source /etc/profile

集群分发脚本 xsync

shell

[liu@hadoop102 opt]$ cd /home/liu
[liu@hadoop102 ~]$ mkdir bin
[liu@hadoop102 ~]$ cd bin
[liu@hadoop102 bin]$ vim xsync

shell

#!/bin/bash

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)

                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

修改脚本 xsync 具有执行权限

shell

[liu@hadoop102 bin]$ chmod +x xsync

测试脚本

shell

[liu@hadoop102 ~]$ xsync /home/liu/bin

将脚本复制到/bin中，以便全局调用

shell

[liu@hadoop102 bin]$ sudo cp xsync /bin/

同步环境变量配置（root所有者）

shell

[liu@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh

注意：如果用了sudo，那么xsync一定要给它的路径补全。

shell

[liu@hadoop103 bin]$ source /etc/profile
[liu@hadoop104 opt]$ source /etc/profile

SSH无密登录配置

（1）生成公钥和私钥

shell

[liu@hadoop102 .ssh]$ pwd
/home/liu/.ssh

shell

[liu@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

（2）将公钥拷贝到要免密登录的目标机器上

shell

[liu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[liu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[liu@hadoop102 .ssh]$ ssh-copy-id hadoop104

注意：

还需要在hadoop103上采用liu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop104上采用liu账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；

集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

时间服务器配置（必须root用户）

（1）查看所有节点ntpd服务状态和开机自启动状态

shell

[liu@hadoop102 ~]$ sudo systemctl status ntpd
[liu@hadoop102 ~]$ sudo systemctl start ntpd
[liu@hadoop102 ~]$ sudo systemctl is-enabled ntpd

（2）修改hadoop102的ntp.conf配置文件

shell

[liu@hadoop102 ~]$ sudo vim /etc/ntp.conf

（a）修改1（授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间）

shell

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

（b）修改2（集群在局域网中，不使用其他互联网上的时间）

shell

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

（c）添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）

shell

server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改hadoop102的/etc/sysconfig/ntpd 文件

shell

[liu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

shell

SYNC_HWCLOCK=yes

（4）重新启动ntpd服务

shell

[liu@hadoop102 ~]$ sudo systemctl start ntpd

（5）设置ntpd服务开机启动

shell

[liu@hadoop102 ~]$ sudo systemctl enable ntpd

其他机器配置（必须root用户）

关闭所有节点上ntp服务和自启动

shell

[liu@hadoop103 ~]$ sudo systemctl stop ntpd
[liu@hadoop103 ~]$ sudo systemctl disable ntpd
[liu@hadoop104 ~]$ sudo systemctl stop ntpd
[liu@hadoop104 ~]$ sudo systemctl disable ntpd

在其他机器配置1分钟与时间服务器同步一次

shell

[liu@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

shell

*/1 * * * * /usr/sbin/ntpdate hadoop102

修改任意机器时间

shell

[liu@hadoop103 ~]$ sudo date -s "2021-9-11 11:11:11"

1分钟后查看机器是否与时间服务器同步

shell

[liu@hadoop103 ~]$ sudo date

集群部署规划

NameNode和SecondaryNameNode不要安装在同一台服务器
ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNodeDataNode	DataNode	SecondaryNameNodeDataNode
YARN	NodeManager	ResourceManagerNodeManager	NodeManager

端口名称	Hadoop2.x	Hadoop3.x
NameNode内部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看执行任务端口	8088	8088
历史服务器通信端口	19888	19888

配置集群

配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定

义配置文件，更改相应属性值。

（1）默认配置文件：

要获取的默认文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

（2）自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

文件配置

1.核心配置文件 core-site.xml

shell

[liu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[liu@hadoop102 hadoop]$ vim core-site.xml

xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为liu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>liu</value>
    </property>
</configuration>

2.HDFS配置文件 hdfs-site.xml

shell

[liu@hadoop102 hadoop]$ vim hdfs-site.xml

xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- nn web端访问地址-->
	<property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

3.YARN配置文件 yarn-site.xml

shell

[liu@hadoop102 hadoop]$ vim yarn-site.xml

xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

配置日志聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryServer。

在文件 yarn-site.xml 里面增加如下配置

xml

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

4.MapReduce配置文件 mapred-site.xml

shell

[liu@hadoop102 hadoop]$ vim mapred-site.xml

xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
	<!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置历史服务器

在文件 mapred-site.xml 里面增加如下配置

xml

<!-- 历史服务器端地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop102:19888</value>
</property>

5.配置workers

shell

[liu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

shell

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

分发hadoop

shell

[liu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

启动集群

如果集群是第一次启动，需要在hadoop102节点格式化NameNode
注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

shell

[liu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

启动HDFS

shell

[liu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

在配置了ResourceManager的节点（hadoop103）启动YARN

shell

[liu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

Web端查看HDFS的NameNode
（a）浏览器中输入：http://hadoop102:9870
（b）查看HDFS上存储的数据信息
Web端查看YARN的ResourceManager
（a）浏览器中输入：http://hadoop103:8088
（b）查看YARN上运行的Job信息
在hadoop102启动历史服务器
shell
```
[liu@hadoop102 hadoop]$ mapred --daemon start historyserver
```
查看JobHistory: http://hadoop102:19888/jobhistory

Hadoop集群常用脚本

1）hadoop.sh

Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）

bash

[liu@hadoop102 ~]$ cd /home/liu/bin
[liu@hadoop102 bin]$ vim hadoop.sh

shell

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 启动 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="

        echo " --------------- 关闭 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

bash

[liu@hadoop102 bin]$ chmod +x hadoop.sh

2）jpsall

查看三台服务器Java进程脚本

bash

[liu@hadoop102 ~]$ cd /home/liu/bin
[liu@hadoop102 bin]$ vim jpsall

shell

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

bash

[liu@hadoop102 bin]$ chmod +x jpsall

bash

[liu@hadoop102 ~]$ xsync /home/liu/bin/

Hadoop集群部署踩坑笔记 ​

1、模板虚拟机配置 ​

配置磁盘分区 ​

（1）手动添加分区 ​

（2） 添加boot区 ​

（3）添加swap交换分区 ​

（4）配置根目录 ​

（5）分区配置完毕，点击接受更改 ​

基础环境 ​

2、hadoop集群 ​

集群前置 ​

jdk安装 ​

Hadoop安装 ​

集群分发脚本 xsync ​

SSH无密登录配置 ​

集群时间同步 ​

时间服务器配置（必须root用户） ​

其他机器配置（必须root用户） ​

集群部署规划 ​

配置集群 ​

配置文件说明 ​

文件配置 ​

1.核心配置文件 core-site.xml ​

2.HDFS配置文件 hdfs-site.xml ​

3.YARN配置文件 yarn-site.xml ​

配置 日志聚集 ​

4.MapReduce配置文件 mapred-site.xml ​

配置 历史服务器 ​

5.配置workers ​

启动集群 ​

Hadoop集群常用脚本 ​

1）hadoop.sh ​

2）jpsall ​

Hadoop集群部署踩坑笔记

1、模板虚拟机配置

配置磁盘分区

（1）手动添加分区

（2）添加boot区

（3）添加swap交换分区

（4）配置根目录

（5）分区配置完毕，点击接受更改

基础环境

2、hadoop集群

集群前置

jdk安装

Hadoop安装

集群分发脚本 xsync

SSH无密登录配置

集群时间同步

时间服务器配置（必须root用户）

其他机器配置（必须root用户）

集群部署规划

配置集群

配置文件说明

文件配置

1.核心配置文件 core-site.xml

2.HDFS配置文件 hdfs-site.xml

3.YARN配置文件 yarn-site.xml

配置日志聚集

4.MapReduce配置文件 mapred-site.xml

配置历史服务器

5.配置workers

启动集群

Hadoop集群常用脚本

1）hadoop.sh

2）jpsall