Spark集群部署

网友投稿 603 2023-04-25

Spark集群部署

Spark集群部署

1. 安装环境简介

硬件环境:两台四核cpu、4G内存、500G硬盘的虚拟机。

软件环境:64位Ubuntu12.04 LTS;主机名分别为spark1、spark2,IP地址分别为1**.1*.**.***/***。JDK版本为1.7。集群上已经成功部署了Hadoop2.2,详细的部署过程可以参见另一篇文档Yarn的安装与部署。

2.  安装Scala2.9.3

2) 解压下载后的文件,配置环境变量:编辑/etc/profile文件,添加如下内容:

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3 export PATH=$SCALA_HOME/bin

3)运行source /etc/profile使环境变量的修改立即生效。在spark2上执行相同的操作,安装scala。

4.配置conf/spark-env.sh环境变量,添加如下内容:

export SCALA_HOME=/home/test/spark/scala/scala-2.9.3

5. 在/etc/profile中配置SPARK_EXAMPLES_JAR以及spark的环境变量:添加如下内容:

export SPRAK_EXAMPLES_JAR=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2/examples/target/scala-2.9.3/spark-examples_2.9.3-assembly-0.8.1-incubating.jar export SPARK_HOME=/home/test/spark/spark-0.8.1-incubating-bin-hadoop2 export PATH=$SPARK_HOME/bin

6. 修改/conf/slaves文件,在文件中添加如下内容:

spark1 spark2

7.使用scp命令将上述文件拷贝到spark节点的相同路径下面scp -rspark-0.8.1-incubating-bin-hadoop2 test@spark2:/home/test/spark:

8. 在spark1上启动spark集群,并检查进程是否成功启动。如下master和worker已经成功启动。

9.        运行spark自带的例子:./run-exampleorg.apache.spark.examples.SparkPi spark://master:7077,其结果如下所示:

在web界面能看到刚才运行的job如下所示:

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:专访拉手网CTO官冲:电商大数据 分析先行
下一篇:从百度视频看大数据与人工智能
相关文章