数智资源网
首页 首页 大数据 大数据入门 查看内容

安装Spark(完全分布式部署--Standalone)

木马童年 2020-10-16 16:35 22 0

1.将Spark解压并上传至/opt目录下tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz -C /opt/2.修改环境变量vi /etc/profileexport SPARK_HOME=/opt/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinsource /etc/pr ...

1.将Spark解压并上传至/opt目录下 

tar -zxvf spark-1.6.2-bin-hadoop2.6.tgz -C /opt/ 

2.修改环境变量 

vi /etc/profile 

export SPARK_HOME=/opt/spark 

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin 

source /etc/profile 

3.配置Spark-env.sh 

a、cd /opt/spark/conf 

b、cp spark-env.sh.template spark-env.sh 

c、vi spark-env.sh 

export JAVA_HOME=/opt/jdk 

export SCALA_HOME=/opt/scala 

export SPARK_MASTER_IP=master 

export SPARK_MASTER_PORT=7077 

export SPARK_WORKER_CORES=1 

export SPARK_WORKER_INSTANCES=1 

export SPARK_WORKER_MEMORY=3g 

export HADOOP_CONF_DIR=/opt/hadoop/etc/hadoop 

4.配置slaves 

a、cd /opt/spark/conf 

b、mv slaves.template slaves 

c、vi slaves 

master 

slave01 

slave02 

5.启动和验证Spark 

a、8080 

b、spark-shell

Spark
0
为您推荐
深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化课程下载

深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入

课程名称深入浅出实战讲解-Spark框架实战 集中轰炸Spark-从入门到高级应用及优化课程…...

云计算视频实战经典Hadoop学习,资源教程下载

云计算视频实战经典Hadoop学习,资源教程下载

课程名称云计算视频实战经典Hadoop学习,资源教程下载课程目录1.Hadoop的源起与体系介…...

Spark原理精讲与推荐系统实践案例,资源教程下载

Spark原理精讲与推荐系统实践案例,资源教程下载

课程名称Spark原理精讲与推荐系统实践案例,资源教程下载课程目录Spark 概述Spark Cor…...

北风网数据结构学习视频,资源教程下载

北风网数据结构学习视频,资源教程下载

课程名称北风网数据结构学习视频,资源教程下载课程目录01第一讲数组02第二讲简单排序…...

大数据时代互联网社交媒体数据的分析与应用课程,资源教程下载

大数据时代互联网社交媒体数据的分析与应用课程,资源

课程名称大数据时代互联网社交媒体数据的分析与应用课程,资源教程下载课程介绍大数据…...

炼数成金完整17周Hadoop完全入门学习视频教程 Hadoop数据分析平台第三版视频教程下载

炼数成金完整17周Hadoop完全入门学习视频教程 Hadoop

课程名称炼数成金完整17周Hadoop完全入门学习视频教程 Hadoop数据分析平台第三版视频…...