当前位置:主页 > 查看内容

解决IDEA:Failed to locate the winutils binary in the hadoop

发布时间:2021-05-16 00:00| 位朋友查看

简介:出现这个问题一般是未找到本地上的Hadoop路径环境变量没有配置或者是没有下载hadoop环境。 解决方法 1.去官网下载自己需要的hadoop版本 http://archive.apache.org/dist/hadoop/ 下载完后解压到指定的目录之下记住目录名字。 2.下载相对应的hadoop-common ht……

出现这个问题一般是未找到本地上的Hadoop路径,环境变量没有配置或者是没有下载hadoop环境。

解决方法:

1.去官网下载自己需要的hadoop版本:

http://archive.apache.org/dist/hadoop/

下载完后解压到指定的目录之下记住目录名字。

2.下载相对应的hadoop-common

https://download.csdn.net/download/master_hunter/16530725

将其中的放入原来hadoop的bin目录下

3.编辑环境变量

添加HADOOP_HOME

若没有则新建一个。

添加CLASSPATH

%HADOOP_HOME%\bin\winutils.exe

添加PATH

%HADOOP_HOME%\bin;

4.测试

import org.apache.spark.{SparkConf, SparkContext}
object test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Spark pi").setMaster("local")
    val sc = new SparkContext(conf)
    val data = sc.parallelize(1 to 10)
    data.foreach(println(_))
  }
    }

跑一跑或者:

成功

;原文链接:https://blog.csdn.net/master_hunter/article/details/115495061
本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!
上一篇:ThinkPHP实现微信小程序微信授权登录 下一篇:没有了

推荐图文


随机推荐