DDR爱好者之家 Design By 杰米
为学习spark,虚拟机中开4台虚拟机安装spark3.0.0
底层hadoop集群已经安装好,见ol7.7安装部署4节点hadoop 3.2.1分布式集群学习环境
首先,去http://spark.apache.org/downloads.html下载对应安装包
解压
[hadoop@master ~]$ sudo tar -zxf spark-3.0.0-bin-without-hadoop.tgz -C /usr/local [hadoop@master ~]$ cd /usr/local [hadoop@master /usr/local]$ sudo mv ./spark-3.0.0-bin-without-hadoop/ spark [hadoop@master /usr/local]$ sudo chown -R hadoop: ./spark
四个节点都添加环境变量
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
配置spark
spark目录中的conf目录下cp ./conf/spark-env.sh.template ./conf/spark-env.sh后面添加
export SPARK_MASTER_IP=192.168.168.11 export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_LOCAL_DIRS=/usr/local/hadoop export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
然后配置work节点,cp ./conf/slaves.template ./conf/slaves修改为
master
slave1
slave2
slave3
写死JAVA_HOME,sbin/spark-config.sh最后添加
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
复制spark目录到其他节点
sudo scp -r /usr/local/spark/ slave1:/usr/local/ sudo scp -r /usr/local/spark/ slave2:/usr/local/ sudo scp -r /usr/local/spark/ slave3:/usr/local/ sudo chown -R hadoop ./spark/
...
启动集群
先启动hadoop集群/usr/local/hadoop/sbin/start-all.sh
然后启动spark集群
通过master8080端口监控
完成安装
DDR爱好者之家 Design By 杰米
广告合作:本站广告合作请联系QQ:858582 申请时备注:广告合作(否则不回)
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
免责声明:本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除!
DDR爱好者之家 Design By 杰米
暂无评论...
更新日志
2024年04月29日
2024年04月29日
- dnf无尽的祭坛怎么去
- 网易雷火宣布《魔兽世界》国服开启测试招募报名!
- 游侠晚报:《剑星》遭和谐引众怒!《沙漠大冒险》好评
- 《蟹蟹寻宝奇遇》首日售出3万份 类魂游戏也能很可爱
- 谢玲玲.2010-丽风金点系列2CD【珍藏版】【WAV+CUE】
- 叶佩雯.2001-SHINE【英皇娱乐】【FLAC分轨】
- 胡鸿钧.2023-我们在结束时开始新曲+精丫TVBMUSIC】【WAV+CUE】
- 曝NS2具备完全向后兼容性!硬件只是一次保守升级
- 小松菜奈产子后首次亮相:新片《我们是谁》发布会
- 因电脑显示屏位置没放对 25岁女孩差点臂“瘫”
- 张敬轩.2014-MORPH【英皇娱乐】【WAV+CUE】
- 群星.2024-惜花芷影视原声带【D-JINMUSIC】【FLAC分轨】
- 李国祥.2011-循环再唱(K2HD限量版)【新世纪】【WAV+CUE】
- 【原神】枫丹V4.6世界任务 | 终章·安魂曲+++后续隐藏任务
- 【原神】V4.6角色攻略 | 选仆人还是林尼?优缺点对比