子雨大数据之Spark入门教程---Spark的安装和使用sbt、maven打包代码 2.1

el/2024/7/17 20:11:51

Spark可以独立安装使用,也可以和Hadoop一起安装使用。本教程中,我们采用和Hadoop一起安装使用,这样,就可以让Spark使用HDFS存取数据。需要说明的是,当安装好Spark以后,里面就自带了scala环境,不需要额外安装scala,因此,“Spark安装”这个部分的教程,假设读者的计算机上,没有安装Scala,也没有安装Java(当然了,如果已经安装Java和Scala,也没有关系,依然可以继续按照本教程进行安装),也就是说,你的计算机目前只有Linux系统,其他的软件和环境都没有安装(没有Java,没有Scala,没有Hadoop,没有Spark),需要从零开始安装所有大数据相关软件。下面,需要你在自己的Linux系统上(笔者采用的Linux系统是Ubuntu16.04),首先安装Java和Hadoop,然后再安装Spark(Spark安装好以后,里面就默认包含了Scala解释器)。本教程的具体运行环境如下:

  • Ubuntu16.04以上
  • Hadoop 2.7.1以上
  • Java JDK 1.7以上
  • Spark 2.1.0

 

一、安装Hadoop

如果你的计算机上已经安装了Hadoop,本步骤可以略过。这里假设没有安装。如果没有安装Hadoop,请访问Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04,依照教程学习安装即可。注意,在这个Hadoop安装教程中,就包含了Java的安装,所以,按照这个教程,就可以完成JDK和Hadoop这二者的安装。

二、安装 Spark

在Linux系统中打开浏览器,访问Spark官方下载地址,按照如下图下载。

由于我们已经自己安装了Hadoop,所以,在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can use with most Hadoop distributions]”,然后,点击“Download Spark”后面的“spark-2.1.0-bin-without-hadoop.tgz”下载即可。下载的文件,默认会被浏览器保存在“/home/hadoop/下载”目录下。需要说明的是,Pre-build with user-provided Hadoop: 属于“Hadoop free”版,这样,下载到的Spark,可应用到任意Hadoop 版本。

Spark部署模式主要有四种:Local模式(单机模式)、Standalone模式(使用Spark自带的简单集群管理器)、YARN模式(使用YARN作为集群管理器)和Mesos模式(使用Mesos作为集群管理器)。
这里介绍Local模式(单机模式)的 Spark安装。我们选择Spark 2.1.0版本,并且假设当前使用用户名hadoop登录了Linux操作系统。

 
  1. sudo tar -zxf ~/下载/spark-2.1.0-bin-without-hadoop.tgz -C /usr/local/
  2. cd /usr/local
  3. sudo mv ./spark-2.1.0-bin-without-hadoop/ ./spark
  4. sudo chown -R hadoop:hadoop ./spark # 此处的 hadoop 为你的用户名

Shell 命令

安装后,还需要修改Spark的配置文件spark-env.sh

 
  1. cd /usr/local/spark
  2. cp ./conf/spark-env.sh.template ./conf/spark-env.sh

Shell 命令

编辑spark-env.sh文件(vim ./conf/spark-env.sh),在第一行添加以下配置信息:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

有了上面的配置信息以后,Spark就可以把数据存储到Hadoop分布式文件系统HDFS中,也可以从HDFS中读取数据。如果没有配置上面信息,Spark就只能读写本地数据,无法读写HDFS数据。
配置完成后就可以直接使用,不需要像Hadoop运行启动命令。
通过运行Spark自带的示例,验证Spark是否安装成功。

 
  1. cd /usr/local/spark
  2. bin/run-example SparkPi

Shell 命令

执行时会输出非常多的运行信息,输出结果不容易找到,可以通过 grep 命令进行过滤(命令中的 2>&1 可以将所有的信息都输出到 stdout 中,否则由于输出日志的性质,还是会输出到屏幕中):

 
  1. bin/run-example SparkPi 2>&1 | grep "Pi is"

Shell 命令

这里涉及到Linux Shell中管道的知识,详情可以参考Linux Shell中的管道命令
过滤后的运行结果如下图示,可以得到π 的 5 位小数近似值:

 

三、在 Spark Shell 中运行代码

学习Spark程序开发,建议首先通过spark-shell交互式学习,加深Spark程序开发的理解。
这里介绍Spark Shell 的基本使用。Spark shell 提供了简单的方式来学习 API,并且提供了交互的方式来分析数据。你可以输入一条语句,Spark shell会立即执行语句并返回结果,这就是我们所说的REPL(Read-Eval-Print Loop,交互式解释器),为我们提供了交互式执行环境,表达式计算完成就会输出结果,而不必等到整个程序运行完毕,因此可即时查看中间结果,并对程序进行修改,这样可以在很大程度上提升开发效率。
Spark Shell 支持 Scala 和 Python,这里使用 Scala 来进行介绍。

前面已经安装了Hadoop和Spark,如果Spark不使用HDFS和YARN,那么就不用启动Hadoop也可以正常使用Spark。如果在使用Spark的过程中需要用到 HDFS,就要首先启动 Hadoop(启动Hadoop的方法可以参考上面给出的Hadoop安装教程)。
这里假设不需要用到HDFS,因此,就没有启动Hadoop。现在我们直接开始使用Spark。

需要强调的是,这里我们采用“本地模式”(local)运行Spark,关于如何在集群模式下运行Spark,可以参考后面的“第十三章 Spark集群”的“在集群上运行Spark应用程序”。
在Spark中采用本地模式启动Spark Shell的命令主要包含以下参数:
--master:这个参数表示当前的Spark Shell要连接到哪个master,如果是local[*],就是使用本地模式启动spark-shell,其中,中括号内的星号表示需要使用几个CPU核心(core);
--jars: 这个参数用于把相关的JAR包添加到CLASSPATH中;如果有多个jar包,可以使用逗号分隔符连接它们;

比如,要采用本地模式,在4个CPU核心上运行spark-shell:

 
  1. cd /usr/local/spark
  2. ./bin/spark-shell --master local[4]

Shell 命令

或者,可以在CLASSPATH中添加code.jar,命令如下:

 
  1. cd /usr/local/spark
  2. ./bin/spark-shell --master local[4] --jars code.jar

Shell 命令

可以执行“spark-shell --help”命令,获取完整的选项列表,具体如下:

 
  1. cd /usr/local/spark
  2. ./bin/spark-shell --help

Shell 命令

上面是命令使用方法介绍,下面正式使用命令进入spark-shell环境,可以通过下面命令启动spark-shell环境:

 
  1. bin/spark-shell

Shell 命令

该命令省略了参数,这时,系统默认是“bin/spark-shell --master local[*]”,也就是说,是采用本地模式运行,并且使用本地所有的CPU核心。

启动spark-shell后,就会进入“scala>”命令提示符状态,如下图所示:

现在,你就可以在里面输入scala代码进行调试了。

比如,下面在命令提示符后面输入一个表达式“8 * 2 + 5”,然后回车,就会立即得到结果:

 
  1. scala> 8*2+5
  2. res0: Int = 21

scala

最后,可以使用命令“:quit”退出Spark Shell,如下所示:

 
  1. scala>:quit

scala

或者,也可以直接使用“Ctrl+D”组合键,退出Spark Shell。

 

四、Spark独立应用程序编程

接着我们通过一个简单的应用程序 SimpleApp 来演示如何通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包,相应的,Java 程序使用 Maven 编译打包,而 Python 程序通过 spark-submit 直接提交。

(一)编写Scala独立应用程序

  1. 安装sbt
    sbt是一款Spark用来对scala编写程序进行打包的工具,这里简单介绍sbt的安装过程,感兴趣的读者可以参考官网资料了解更多关于sbt的内容。
    Spark 中没有自带 sbt,这里直接给出sbt-launch.jar的下载地址,直接点击下载即可。
    我们选择安装在 /usr/local/sbt 中:

     

     
    1. sudo mkdir /usr/local/sbt
    2. sudo chown -R hadoop /usr/local/sbt # 此处的 hadoop 为你的用户名
    3. cd /usr/local/sbt

    Shell 命令

    下载后,执行如下命令拷贝至 /usr/local/sbt 中:

     
    1. cp ~/下载/sbt-launch.jar .

    Shell 命令

    接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容:

    #!/bin/bash
    SBT_OPTS="-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M"
    java $SBT_OPTS -jar `dirname $0`/sbt-launch.jar "$@"
    

    保存后,为 ./sbt 脚本增加可执行权限:

     
    1. chmod u+x ./sbt

    Shell 命令

    最后运行如下命令,检验 sbt 是否可用(请确保电脑处于联网状态,首次运行会处于 “Getting org.scala-sbt sbt 0.13.11 ...” 的下载状态,请耐心等待。笔者等待了 7 分钟才出现第一条下载提示):

     
    1. ./sbt sbt-version

    Shell 命令

    只要能得到如下图的版本信息就没问题:

    4
    2.编写Scala应用程序
    在终端中执行如下命令创建一个文件夹 sparkapp 作为应用程序根目录:

     
    1. cd ~ # 进入用户主文件夹
    2. mkdir ./sparkapp # 创建应用程序根目录
    3. mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构

    Shell 命令

    在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件(vim ./sparkapp/src/main/scala/SimpleApp.scala),添加代码如下(目前不需要理解代码的具体含义,只需要理解如何编译运行代码就可以)

     
    1. /* SimpleApp.scala */
    2. import org.apache.spark.SparkContext
    3. import org.apache.spark.SparkContext._
    4. import org.apache.spark.SparkConf
    5.  
    6. object SimpleApp {
    7. def main(args: Array[String]) {
    8. val logFile = "file:///usr/local/spark/README.md" // Should be some file on your system
    9. val conf = new SparkConf().setAppName("Simple Application")
    10. val sc = new SparkContext(conf)
    11. val logData = sc.textFile(logFile, 2).cache()
    12. val numAs = logData.filter(line => line.contains("a")).count()
    13. val numBs = logData.filter(line => line.contains("b")).count()
    14. println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
    15. }
    16. }

    scala

    该程序计算 /usr/local/spark/README 文件中包含 "a" 的行数 和包含 "b" 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录,如果不是该目录请自行修改。不同于 Spark shell,独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext,SparkContext 的参数 SparkConf 包含了应用程序的信息。

3.使用sbt打包Scala程序

该程序依赖 Spark API,因此我们需要通过 sbt 进行编译打包。 请在./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt),添加内容如下,声明该独立应用程序的信息以及与 Spark 的依赖关系:

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"

文件 simple.sbt 需要指明 Spark 和 Scala 的版本。在上面的配置信息中,scalaVersion用来指定scala的版本,sparkcore用来指定spark的版本,这两个版本信息都可以在之前的启动 Spark shell 的过程中,从屏幕的显示信息中找到。下面就是笔者在启动过程当中,看到的相关版本信息(备注:屏幕显示信息会很长,需要往回滚动屏幕仔细寻找信息)。

为保证 sbt 能正常运行,先执行如下命令检查整个应用程序的文件结构:

 
  1. cd ~/sparkapp
  2. find .

Shell 命令

文件结构应如下图所示:

SimpleApp的文件结构SimpleApp的文件结构

接着,我们就可以通过如下代码将整个应用程序打包成 JAR(首次运行同样需要下载依赖包 ):

 
  1. /usr/local/sbt/sbt package

Shell 命令

对于刚安装好的Spark和sbt而言,第一次运行上面的打包命令时,会需要几分钟的运行时间,因为系统会自动从网络上下载各种文件。后面再次运行上面命令,就会很快,因为不再需要下载相关文件。
打包成功的话,会输出如下内容:

hadoop@dblab:~/sparkapp$ /usr/local/sbt/sbt package
OpenJDK 64-Bit Server VM warning: ignoring option MaxPermSize=256M; support was removed in 8.0
[info] Set current project to Simple Project (in build file:/home/hadoop/sparkapp/)
[success] Total time: 2 s, completed 2017-2-19 15:45:29

生成的 jar 包的位置为 ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar。

4.通过 spark-submit 运行程序

最后,我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

 
  1. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar
  2. #上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果
  3. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar 2>&1 | grep "Lines with a:"

Shell 命令

最终得到的结果如下:

Lines with a: 62, Lines with b: 30

自此,你就完成了你的第一个 Spark 应用程序了。

 

(二)Java独立应用编程

1.安装maven
ubuntu中没有自带安装maven,需要手动安装maven。可以访问maven官方下载自己下载。这里直接给出apache-maven-3.3.9-bin.zip的下载地址,直接点击下载即可。
选择安装在/usr/local/maven中:

 
  1. sudo unzip ~/下载/apache-maven-3.3.9-bin.zip -d /usr/local
  2. cd /usr/local
  3. sudo mv apache-maven-3.3.9/ ./maven
  4. sudo chown -R hadoop ./maven

Shell 命令

2.Java应用程序代码
在终端执行如下命令创建一个文件夹sparkapp2作为应用程序根目录

 
  1. cd ~ #进入用户主文件夹
  2. mkdir -p ./sparkapp2/src/main/java

Shell 命令

在 ./sparkapp2/src/main/java 下建立一个名为 SimpleApp.java 的文件(vim ./sparkapp2/src/main/java/SimpleApp.java),添加代码如下:

 
  1. /*** SimpleApp.java ***/
  2. import org.apache.spark.api.java.*;
  3. import org.apache.spark.api.java.function.Function;
  4.  
  5. public class SimpleApp {
  6. public static void main(String[] args) {
  7. String logFile = "file:///usr/local/spark/README.md"; // Should be some file on your system
  8. JavaSparkContext sc = new JavaSparkContext("local", "Simple App",
  9. "file:///usr/local/spark/", new String[]{"target/simple-project-1.0.jar"});
  10. JavaRDD<String> logData = sc.textFile(logFile).cache();
  11.  
  12. long numAs = logData.filter(new Function<String, Boolean>() {
  13. public Boolean call(String s) { return s.contains("a"); }
  14. }).count();
  15.  
  16. long numBs = logData.filter(new Function<String, Boolean>() {
  17. public Boolean call(String s) { return s.contains("b"); }
  18. }).count();
  19.  
  20. System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
  21. }
  22. }

Java

该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp2中新建文件pom.xml(vim ./sparkapp2/pom.xml),添加内容如下,声明该独立应用程序的信息以及与Spark的依赖关系:

    <project><groupId>edu.berkeley</groupId><artifactId>simple-project</artifactId><modelVersion>4.0.0</modelVersion><name>Simple Project</name><packaging>jar</packaging><version>1.0</version><repositories><repository><id>Akka repository</id><url>http://repo.akka.io/releases</url></repository></repositories><dependencies><dependency> <!-- Spark dependency --><groupId>org.apache.spark</groupId><artifactId>spark-core_2.11</artifactId><version>2.1.0</version></dependency></dependencies></project>

关于Spark dependency的依赖关系,可以访问The Central Repository。搜索spark-core可以找到相关依赖关系信息。

3.使用maven打包java程序
为了保证maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

 
  1. cd ~/sparkapp2
  2. find

Shell 命令

文件结构如下图:

接着,我们可以通过如下代码将这整个应用程序打包成Jar(注意:电脑需要保持连接网络的状态,而且首次运行mvn package命令时,系统会自动从网络下载相关的依赖包,同样消耗几分钟的时间,后面再次运行mvn package命令,速度就会快很多):

 
  1. /usr/local/maven/bin/mvn package

Shell 命令

如果运行上面命令后出现类似下面的信息,说明生成Jar包成功:

[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 6.583 s
[INFO] Finished at: 2017-02-19T15:52:08+08:00
[INFO] Final Memory: 15M/121M
[INFO] ------------------------------------------------------------------------

4.通过spark-submit 运行程序
最后,可以通过将生成的jar包通过spark-submit提交到Spark中运行,如下命令:

 
  1. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar
  2. #上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果
  3. /usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a"

Shell 命令

最后得到的结果如下:

Lines with a: 62, Lines with b: 30

http://www.ngui.cc/el/5557074.html

相关文章

lxc安装使用教程

LXC基础学习教程 http://17173ops.com/2013/11/14/linux-lxc-install-guide.shtml 如何使用RHEL/CentOS 7安装创建和管理LXC (Linux Containers) http://blog.csdn.net/liumiaocn/article/details/52337479?locationNum5&fps1 LXC命令简单使用说明 http://blog.csdn.net…

lxc基本命令(lxc-checkconfig,lxc-create等命令)

用于判断linux内核是否支持LXC lxc-checkconfig 创建一个容器&#xff0c;其中-n是容器的名字&#xff0c;这里名字用name&#xff0c;-f是容器的配置文档&#xff0c; 保存路径&#xff1a;/usr/share/doc/lxc/examples/ 默认的配置文档是&#xff1a;/etc/lxc/lxc.conf&#…

hadoop2.6单机运行及伪分布式部署运行

Hadoop单机模式运行 Hadoop 默认配置是以非分布式模式运行&#xff0c;即单 Java 进程&#xff0c;方便进行调试。可以执行附带的例子 WordCount 来感受下 Hadoop 的运行。将 input 文件夹中的文件作为输入&#xff0c;统计当中符合正则表达式 wo[a-z.] 的单词出现的次数&#…

机器学习中的有监督学习,无监督学习,半监督学习的区别

在机器学习(Machine learning)领域&#xff0c;主要有三类不同的学习方法&#xff1a; 监督学习(Supervised learning)、 非监督学习(Unsupervised learning)、 半监督学习(Semi-supervised learning)&#xff0c; 监督学习&#xff1a;通过已有的一部分输入数据与输出数据之间…

B树、B-树、B+树、B*树 ---浅层次讲解

B树 即二叉搜索树&#xff1a; 1.所有非叶子结点至多拥有两个儿子&#xff08;Left和Right&#xff09;&#xff1b; 2.所有结点存储一个关键字&#xff1b; 3.非叶子结点的左指针指向小于其关键字的子树&#xff0c;右指针指向大于其关键字的子树&#xff1b; 如&#xff1a; …

Linux进程管理之“四大名捕”ps、dstat、top、htop

一、四大名捕 四大名捕&#xff0c;最初出现于温瑞安创作的武侠小说&#xff0c;是朝廷中正义力量诸葛小花的四大徒弟&#xff0c;四人各怀绝技&#xff0c;分别是轻功暗器高手“无情”、内功卓越的高手“铁手”、腿功惊人的“追命”和剑法一流的“冷血” 本文四大名捕由linux命…

系统级性能分析工具 — Perf详解讲解

从2.6.31内核开始&#xff0c;Linux内核自带了一个性能分析工具perf&#xff0c;能够进行函数级与指令级的热点查找。通过它&#xff0c;应用程序可以利用 PMU&#xff0c;tracepoint 和内核中的特殊计数器来进行性能统计。它不但可以分析指定应用程序的性能问题 (per thread)&…

hdfs:error Initialization failed for block pool Block pool registering service

一、执行start-dfs.sh后&#xff0c;datenode没有启动 查看日志如下&#xff1a;   2014-06-18 20:34:59,622 FATAL org.apache.Hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassigned) se…

CentOS 开启关闭防火墙

CentOS 6: 1&#xff09; 永久性生效&#xff0c;重启后不会复原 开启&#xff1a; chkconfig iptables on 关闭&#xff1a; chkconfig iptables off 2&#xff09; 即时生效&#xff0c;重启后复原 service iptables status 查看防火墙状态 service iptables …

lxc如何修改配置参数

Linux 容器的资源管理 https://www.ibm.com/developerworks/cn/linux/1404_caojh_lxc/