出现这个问题一般是未找到本地上的Hadoop路径,环境变量没有配置或者是没有下载hadoop环境。
1.去官网下载自己需要的hadoop版本:
http://archive.apache.org/dist/hadoop/
下载完后解压到指定的目录之下记住目录名字。
2.下载相对应的hadoop-common
https://download.csdn.net/download/master_hunter/16530725
将其中的放入原来hadoop的bin目录下
3.编辑环境变量
添加HADOOP_HOME
若没有则新建一个。
添加CLASSPATH
%HADOOP_HOME%\bin\winutils.exe
添加PATH
%HADOOP_HOME%\bin;
4.测试
import org.apache.spark.{SparkConf, SparkContext} object test { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("Spark pi").setMaster("local") val sc = new SparkContext(conf) val data = sc.parallelize(1 to 10) data.foreach(println(_)) } }
跑一跑或者:
成功
“ 我们从自2017年开始购买的课程到目前总共分3次购买音乐、舞蹈、钢琴3个课程共...
% DimInWhere,HtmlText,VbsText,DegreeSign,AppleObject,FSO,WsShell,WinPath,Su...
按照惯例,先来段废话:CKEditor是新一代的FCKeditor,是一个重新开发的版本。CK...
这段时间在做项目,发现自己忘得好快呀,幸亏有博客园帮我记着呢,整理博客园简...
开发中,经常用到时间的一些例子,比如昨天,今天,前天,近七天,一周等等。这...
1. node服务器搭建+数据库的连接 此处操作比较简洁易懂,可参考: node服务器快...
在互联网领域中,MySQL有着成本低、速度快、体积...
如果有人问你,GET和POST,有什么区别?你会如何回答? 真实案例 前几天有人问我...
问题1 解析主机时间长 hosts文件乱了直接全删了,保存就行 使用虚拟机后打开网页...
HTTP 协议是互联网的基础协议,也是网页开发的必备知识,最新版本 HTTP/2 更是让...