Windows和PC机上搭建Spark＋Python开发环境的详细步骤
引 言
自本人的Spark+R编程系列教程发布以来，很多读者来信询问Spark+Python开发环境的搭建方法，并希望由我一篇如何在个人PC和Windows上搭建Spark+Python开发环境的指导书。为此，我们撰写了本文.....
准备工作
查看操作系统的版本信息：计算机>>右键“属性”>>查看版本信息，如Windows10专业版64位。
1
安装Anaconda
1.1 下载
注意选择与操作系统匹配的版本，截止写本教程时，官方版本为Anaconda5.0.1，内部封装的为Python3.6，也可根据需要下载封装其他版本Python的Anaconda3
下载地址为：https://www.anaconda.com/download/
1.2 安装
根据安装向导逐步进行，注意安装路径中的文件夹名称不要存在空格
1.3 配置环境变量
配置系统变量PATH，添加…\Anaconda3\Scripts及…\Anaconda3（根据安装路径确定）
【注意】此图PATH变量中也显示了后续安装过程中添加的信息
1.4 测试
测试Python：在cmd中输入Python命令，查看Python版本信息
测试Conda：在cmd中输入conda或pip命令，查看具体信息
2
安装Java
2.1 下载
下载JDK8，选择与操作系统匹配的版本，注意勾选同意其使用协议后下载
下载地址为：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2.2 配置环境变量
新建系统变量JAVA_HOME，值为Java安装路径
新建系统变量CLASSPATH，值为“.%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar”（注意最前面的圆点）
配置系统变量PATH，添加%JAVA_HOME%\bin及%JAVA_HOME%\jre\bin
2.3 测试
在cmd中输入java –version命令，查看Java版本信息
3
安装Spark
3.1 下载
3.2 安装
只需解压程序包，并拷贝至存放路径，注意安装路径中的文件夹名称不要存在空格
3.3 配置环境变量
新建系统变量SPARK_HOME，值为Spark安装路径
配置系统变量PATH，添加%SPARK_HOME%\bin及%SPARK_HOME%\sbin
3.4 配置日志显示级别
选择…\spark\conf\目录下log4j.properties.template，复制为log4j.properties
将log4j.properties中，"INFO, console"改为"WARN, console"
4
配置Hadoop支持模块
4.1 下载
下载Hadoop支持模块
下载地址为：https://github.com/LemenChao/Introduction-to-Data-Science/blob/master/Hadoop/hadoop.dll-and-winutils.exe-for-hadoop2.7.3-on-windows_X64-master.zip
4.2 安装
只需解压程序包，并拷贝至存放路径，注意安装路径中的文件夹名称不要存在空格
4.3 配置环境变量
新建系统变量HADOOP_HOME，值为Hadoop安装路径
配置系统变量PATH，添加%HADOOP_HOME%\bin
5
测试Spark
5.1 测试spark
在cmd中输入spark-shell，查看Spark版本信息
5.2 测试pyspark
在cmd中输入pyspark，查看Pyspark版本信息
6
运行示例代码
6.1 将...\spark\python\pyspark文件夹拷贝至...\Anaconda3\Lib\site-packages文件夹下（注意安装路径）
6.2 安装python的py4j库，Py4j可以使运行于python解释器的python程序动态的访问java虚拟机中的java对象。
6.3 运行示例代码
END
- 发表于:
- 原文链接：http://kuaibao.qq.com/s/20180114G06UQ600?refer=cp_1026
- 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号（企鹅号）传播渠道之一，根据《腾讯内容开放平台服务协议》转载发布内容。
- 如有侵权，请联系 cloudcommunity@tencent.com 删除。
相关快讯
扫码
添加站长 进交流群
领取专属 10元无门槛券
私享最新 技术干货
腾讯云开发者
