Mac 配置Hadoop、spark、Scala、jdk

Mac 配置Hadoop、spark、Scala、jdk1.8

一、安装jdk1.8（适配于 Mac M1芯片）

下载地址：

Java Downloads | Oracle

1.下载好使用 终端 进行解压

tar -zxf jdk-8u401-macosx-aarch64.tar.gz

2.配置环境变量

1.终端打开 .bash_profile

vim ~/.bash_profile

2.将以下代码放进 .bash_profile 里面(注意修改路径)

export PATH=${PATH}:/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/Contents/Homeexport PATH=$JAVA_HOME/bin:$PATH

3.esc按键 + ：号键 输入 wq （保存并退出）

4.重新加载 .bash_profile 文件

source ~/.bash_profile

5.输入以下代码检查配置是否成功

java -version

二、安装Spark

下载链接：

News | Apache Spark

1.下载好并使用 终端 进行解压

tar -zxf spark-3.1.1-bin-hadoop3.2.tar

2.进行环境配置

1.终端打开 .bash_profile

vim ~/.bash_profile

2.以下代码放进 .bash_profile 里面(注意修改路径)

# 方式一export SPARK_HOME=/Users/laohe_juan/Downloads/spark-3.1.1-bin-hadoop3.2export PATH=$PATH:$SPARK_HOME/binexport PYSPARK_PYTHON=python3# 注意 python3是自己系统安装的版本# 方式二  需要先安装 Hadoop 请先跳转到安装 Hadoop 记得再返回到此处export SPARK_HOME=/Users/laohe_juan/Downloads/spark-3.1.1-bin-hadoop3.2export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

3.esc按键 + ：号键 输入 wq （保存并退出）

4.重新加载 .bash_profile 文件

source ~/.bash_profile

5.输入以下代码检查配置是否成功

pyspark

使用方式二：  （确保 Hadoop 安装完成，否则 请跳转到 安装 Hadoop）

1.进入 conf 修改 文件名

cd Downloads/spark-3.1.1-bin-hadoop3.2/conf

#  修改一下两个文件

mv spark-env.sh.template spark-enc.shmv workers.template workers 

2.修改配置文件 spark-enc.sh

vim spark-enc.sh

添加如下：（ 注意修改地址 ）

export JAVA_HOME=/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/export HADOOP_HOME=/Users/laohe_juan/Downloads/hadoop-3.1.3/export HADOOP_CONF_DIR=/Users/laohe_juan/Downloads/hadoop-3.1.3/etc/hadoopexport SPARK_MASTER_HOST=localhost

3.进入 sbin 修改 启动命令 （使不与 hadoop 同样）

mv start-all.sh start-spark.sh    //启动sparkmv stop-all.sh stop-spark.sh     //关闭spark

4.启动spark （出现 Master 和 Worker 则启动成功）

start-spark.sh

​​​​​​​

三、安装Hadoop（确保ssh）

下载链接：

Apache Hadoop

0.ssh

1.确保已经安装SSH

ps -e|grep ssh

查看版本号：

ssh -V

2.依次输入以下命令（免密）

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsacat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 0600 ~/.ssh/id_rsa.pub

3.ssh测试

ssh localhost

1.下载好并使用 终端 进行解压

tar -zxf hadoop-3.1.3.tar

2.进行环境配置

1.终端打开 .bash_profile

vim ~/.bash_profile

2.以下代码放进 .bash_profile 里面(注意修改路径)

export HADOOP_HOME=/Users/laohe_juan/Downloads/hadoop-3.1.3/export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/nativ"

3.esc按键 + ：号键 输入 wq （保存并退出）

4.重新加载 .bash_profile 文件

source ~/.bash_profile

5.输入以下代码检查配置是否成功

hadoop version

3.修改配置文件（首先进入到Hadoop）

cd /Users/laohe_juan/Downloads/hadoop-3.1.3/etc/hadoop

1.打开 hadoop-env.sh 配置 jdk 路径 ( 注意路径两边的引号需要添加 )

export JAVA_HOME="/Users/laohe_juan/Downloads/jdk1.8.0_401.jdk/Contents/Home"

2.配置 core-site.sh 文件 ( 注意路径需要修改为自己的 )

            hadoop.tmp.dir        /Users/laohe_juan/Downloads/hdfs/tmp/                fs.default.name        hdfs://127.0.0.1:9000    

3.配置 hdfs-site.xml 文件 ( 注意路径需要修改为自己的 )

        dfs.data.dir      /Users/laohe_juan/Downloads/hdfs/namenode          dfs.data.dir      /Users/laohe_juan/Downloads/hdfs/datanode          dfs.replication      1  

​

4.配置 mapred-site.xml 文件

      mapreduce.framework.name    yarn  

5.配置 yarn-site.xml 文件

      yarn.nodemanager.aux-services    mapreduce_shuffle        yarn.nodemanager.aux-services.mapreduce.shuffle.class    org.apache.hadoop.mapred.ShuffleHandler        yarn.resourcemanager.hostname    127.0.0.1        yarn.acl.enable    0        yarn.nodemanager.env-whitelist    JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME  

6.执行 命令

hdfs namenode -format

成功则如下：

注意：如果后面有进程没有启动成功时，切记 查看进程（在安装目录下的 logs 目录），然后有关 没有匹配的目录类型的日志报错的话，多半是在最开始配置中有错误然后没有重新生成对应的目录及文件！所以重新执行此命令大概率就解决了。

7.启动集群

start-all.sh

8.查看集群是否全部启动成功

jps

Hadoop 配置文件总阅：

成功后的所有进程：

四、安装Scala ( 确保有java环境 )

下载安装（此用到的是2.12版本)

下载地址：Scala 2.12.0 | The Scala Programming Language

1.下载好使用 终端 解压

tar -zxf scala-2.12.0.tar

2.配置环境变量

1.终端打开 .bash_profile

vim ~/.bash_profile

2.将以下代码放进 .bash_profile 里面(注意修改路径)

export PATH=${PATH}:/Users/laohe_juan/Downloads/scala-2.12.0/binexport PATH=$SCALA_HOME/bin:$PATH

3.esc按键 + ：号键 输入 wq （保存并退出）

4.重新加载 .bash_profile 文件

source ~/.bash_profile

5.输入以下代码检查配置是否成功

scala -version