Spark 3.0 安装启动流程
发布网友
发布时间：2024-09-16 10:11
共1个回答
热心网友
时间：2024-09-16 10:49
Spark 3.0的安装启动流程如下：
首先，确保你的环境已经安装了Hadoop 3.1，Spark 3.0版本，并且运行在Centos 7系统上。Hadoop的安装为Spark提供了HDFS支持和YARN调度功能。
安装步骤如下：
从官网下载Spark 3.0的资源包，解压至/usr/local目录，并将权限设置为hadoop用户所有：
sudo chown -R hadoop:hadoop /usr/local/spark/spark-3.0
配置环境变量，添加到系统路径：
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.0
export SPARK_HOME=/usr/local/spark/spark-3.0
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:${SPARK_HOME}/bin
在conf目录下，编辑spark-env.sh，配置Java、Hadoop路径、Spark Master节点、内存和CPU核心数：
(省略spark-env.sh的具体配置)
设置slaves文件，包含集群节点，如h01、h03和h04：
h01
h03
h04
将Spark目录复制到其他节点，并使用sbin下的start-all.sh命令启动集群。启动成功后，通过浏览器检查Master节点的8080端口，看到三个节点即安装完成。
安装完毕后，你可以通过提交Spark Demo来测试。例如，运行WordCount示例，将root.log上传到HDFS，然后使用spark-submit命令提交任务：
spark-submit --class WordCount --name WordCount --master h01 --deploy-mode cluster com.sparkstudy-1.0-SNAPSHOT.jar /user/hdfs/root.log
执行后，查看Spark的输出结果，验证程序是否运行正常。
