阿里云ECS上搭建Hadoop分布式环境

1.Java的安装

使用命令行工具安装（需要公网ip为60.205.163.33的实例提前启动nginx服务）

# 使用wget命令从指定的IP地址下载JDK安装包到/home/jdk目录# -P 参数用于指定下载文件的保存路径，这里是 /home/jdk# 请注意，如果IP地址发生变化，需要相应地更新命令中的IP地址部分wget http://60.205.163.33/download/jdk/jdk-8u261-linux-x64.tar.gz -P /home/jdk

1.3 解压jdk、配置、检验

step1：在云实例中创建一个存放jdk解压后的目录，

mkdir -p /opt/jdk1.8.0

step2：将 jre-8u261-linux-x64.tar.gz 解压到 /opt/jdk1.8.0 目录下

#将文件 jdk-8u261-linux-x64.tar.gz 从 /home/jdk/ 目录解压到 /opt/jdk1.8.0 目录tar -zxvf /home/jdk/jdk-8u261-linux-x64.tar.gz -C /opt/jdk1.8.0

step3：勾选上显示/隐藏实例菜单栏：

step4：

检验是否解压成功：左侧查看 /opt/jdk1.8.0 目录，是否和图片中的目录一致。

step5：修改环境变量

vim /etc/profile

在profile文件中添加以下内容：（第一行路径需根据自己的存放路径修改）

# 设置环境变量 JAVA_HOME 指向 JDK 的安装路径# 这里假设 JDK 安装在 /opt/jdk1.8.0/jdk1.8.0_261export JAVA_HOME=/opt/jdk1.8.0/jdk1.8.0_261# 设置环境变量 JRE_HOME 指向 JAVA_HOME 下的 jre 目录# 这通常是 JDK 的一部分，包含 Java 运行时环境export JRE_HOME=$JAVA_HOME/jre# 设置 CLASSPATH 环境变量，它告诉 Java 程序在哪里查找类和库# . 表示当前目录，$JAVA_HOME/lib 和 $JRE_HOME/lib 包含 Java 核心库# 使用 : 分隔不同的路径export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH# 更新 PATH 环境变量，添加 Java 的 bin 目录到系统路径中# 这样可以在命令行中直接运行 java 和 javac 等命令，无需指定完整路径# $JAVA_HOME/bin 和 $JRE_HOME/bin 包含 Java 的命令行工具# $PATH 是系统原有的路径，确保其他程序仍然可以正常访问export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存并退出。

step6：继续输入以下命令，使profile文件的修改生效：

source /etc/profile

step7：测试Java的安装是否成功？

java -version

输出结果如下图所示，表示Java安装成功

2.Hadoop的安装

2.1  修改主机名

（1）在安装之前先修改一下每个人的主机名，修改的名称要求如下：主机（hadoop-master-“姓名拼音首字母"）、从机1（hadoop-slave1-“姓名拼音首字母"）、从机2（hadoop-slave2-“姓名拼音首字母"），下面涉及到的主机名需都保持一致。

修改方式如下：

#新主机名按照要求命名sudo echo 新主机名 > /etc/hostname#检验是否修改成功，若一下命令返回新主机名，则代表成功cat /etc/hostname#若永久性修改，则需要使用以下命令重新启动，重新启动的过程需要等一会reboot

再次判断，修改成功左侧提示命令行则显示新主机名

（2）配置主机名到 IP 地址的映射：配置文件中通常使用主机名而不是 IP 地址。为了确保集群中的节点可以通过主机名相互通信，您需要：在每个节点的 /etc/hosts 文件中配置主机名到 IP 地址的映射。具体方式如下：

vim /etc/hosts

在这个 /etc/hosts 文件中，您可以添加或修改主机名到 IP 地址（选择私网ip，更安全）的映射。（每个节点都需要修改）

# 127.0.0.1 是本地主机的回环地址，用于访问本地主机上的服务。# 172.22.196.64、172.22.196.65 和 172.22.196.66 是集群中节点的 IP 地址，分别对应 hadoop-master、hadoop-slave1 和 hadoop-slave2 主机名。127.0.0.1 localhost172.22.196.64 hadoop-master172.22.196.65 hadoop-slave1172.22.196.66 hadoop-slave2

1. 在云实例中/home目录下新建一个hadoop文件夹（命令方式和图标方式均可），存放hadoop安装包。命令方式如下：mkdir -p /home/hadoop
2. 同Java的安装方式，将hadoop安装包从本地上传至云实例/home/hadoop目录中

   wget http://60.205.163.33/download/hadoop/hadoop-3.2.4.tar.gz -P /home/hadoop

3. 返回上一层目录，再创建一个存放hadoop解压后的目录

   cdmkdir -p /opt/hadoop3.2.4

4. 解压：

   tar -zxvf /home/hadoop/hadoop-3.2.4.tar.gz -C /opt/hadoop3.2.4

5. 配置hadoop环境

   vim /etc/profile

6. 在profile文件中添加以下内容：（原理同java）

   export HADOOP_HOME=/opt/hadoop3.2.4/hadoop-3.2.4export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATHexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

7. 添加后的效果如下图所示：

8. 保存退出使profile文件生效

   source /etc/profile

9. 查看是否安装成功，命令及输出结果如下：

   hadoop version

10. 配置HDFS集群，执行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。（更方面）

    echo "export JAVA_HOME=/opt/jdk1.8.0/jdk1.8.0_261" >> /opt/hadoop3.2.4/hadoop-3.2.4/etc/hadoop/yarn-env.shecho "export JAVA_HOME=/opt/jdk1.8.0/jdk1.8.0_261" >> /opt/hadoop3.2.4/hadoop-3.2.4/etc/hadoop/hadoop-env.sh

11. 将Hadoop守护进程的用户设置为root，具体修改方式如下：

    ​​​​​​​cd /opt/hadoop3.2.4/hadoop-3.2.4/etc/hadoop vim hadoop-env.sh # 在hadoop-env.sh文件最下面添加如下内容export HDFS_NAMENODE_USER=rootexport HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root

12. 修改hadoop的配置信息，主要是在/opt/hadoop3.2.4/hadoop-3.2.4/etc/hadoop文件夹中的几个，具体修改内容如下（目录部分需要根据自己的安装位置进行修改）：

    #在 /opt/hadoop3.2.4/hadoop-3.2.4目录下新建一个tmp文件夹cd /opt/hadoop3.2.4/hadoop-3.2.4/etc/hadoopmkdir tmp

    vim workers

    在workers文件中添加如下内容：（对照你的主机名修改）

    hadoop-masterhadoop-slave1hadoop-slave2

    同上，在core-site.xml文件中添加如下内容：（注意不要重复添加），（此处hadoop-master需要修改为你们组的主节点主机名）

                hadoop.tmp.dir        file:/opt/hadoop3.2.4/hadoop-3.2.4/tmp                fs.defaultFS        hdfs://hadoop-master:9000    

    同上，在hdfs-site.xml文件中添加如下内容：（注意不要重复添加）（此处hadoop-master需要修改为你们组的主节点主机名）

                dfs.replication        2                dfs.namenode.secondary.http-address        hadoop-master:50090                dfs.namenode.name.dir        file:/opt/hadoop3.2.4/hadoop-3.2.4/tmp/dfs/name                dfs.datanode.data.dir        file:/opt/hadoop3.2.4/hadoop-3.2.4/tmp/dfs/data    

    同上，在mapred-site.xml文件中添加如下内容：（注意不要重复添加）（此处hadoop-master需要修改为你们组的主节点主机名）

                mapreduce.framework.name        yarn                mapreduce.jobhistory.address        hadoop-master:10020                mapreduce.jobhistory.webapp.address        hadoop-master:19888    

    同上，在yarn-site.xml文件中添加如下内容：（注意不要重复添加）（此处hadoop-master需要修改为你们组的主节点主机名）

                yarn.resourcemanager.hostname        hadoop-master                yarn.nodemanager.aux-services        mapreduce_shuffle                yarn.log-aggregation-enable        true                yarn.nodemanager.log-dirs        ${yarn.log.dir}/userlogs    

13. 其他两台也需要进行以上Java、Hadoop所有的安装配置工作。

3.Hadoop的ssh连接、测试与启动

1. 【更新】建立同区域（例如：同杭州）不同账号下不同vpc（虚拟共有私网）私网ip的对等连接，具体方式参考：通过VPC对等连接方式，实现阿里云不同账号下的VPC内网网络互通。

2. 在master主机上生成SSH公钥和私钥（其他两台从节点主机不用）

   在终端中执行以下命令：

   ssh-keygen -t rsa

   这将在你的用户主目录下的.ssh文件夹（如~/.ssh）中创建id_rsa（私钥）和id_rsa.pub（公钥）两个文件。

3. 将公钥复制到远程机器

   使用ssh-copy-id命令将公钥添加到主机master和远程机器slave1和slave2（该命令需执行三遍）。这将添加你的公钥到远程主机的~/.ssh/authorized_keys文件中。

   ssh-copy-id username@remote-host

   请将username替换为你的远程主机上的用户名，将remote-host替换为远程主机的IP地址或主机名。

4. 测试SSH连接

   通过执行以下命令来测试你的SSH连接：

   ssh username@remote-host

   如果配置正确，你将能够在不需要密码的情况下登录到远程主机。

5. Hadoop的启动

   # 在master节点执行如下指令格式化HDFS文件系统，只需格式化一次，多次的话集群id会变化hdfs namenode -format# 在master节点启动Hadoop集群start-dfs.shstart-yarn.sh#启动后，查看Hadooop集群系统状态hdfs dfsadmin -report#或者使用以下命令，查看启动节点jps

   出现的问题及解决方式：1，安全组访问端口需提前添加，有9000，50090、10020等实验中涉及的端口，或者直接打开所有的端口（这种方式便于做实践，但不安全）：

4.网页形式的查看方式

1. HDFS集群的网页查看方式：

      访问地址：  公网ip：9870（Hadoop安装版本不一致，访问端口也不一致）

能成功访问到的界面如下：

1. YARN网页查看方式：

     访问地址：    公网ip：8088