?
配置的虚拟机为Centos6.7系统,hadoop版本为2.6.0版本,先前已经完成搭建CentOS部署Hbase、CentOS6.7搭建Zookeeper和编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装。在此基础上完成了Hive详解以及CentOS下部署Hive和Mysql和Spark框架在CentOS下部署搭建。现在进行Spark的组件Spark SQL的部署。
对于Spark SQL的详细介绍可以在Spark框架深度理解二:生态圈中参阅。
首先我所部署的集群配置为
CentOS-6.7
Spark-2.4.7
Hive-2.3.7
若有版本不兼容的问题可参考其他版本的部署。
若要使用Spark SQL CLI的方式访问操作Hive表数据,需要对Spark SQL进行如下所示的环境配置,将Spark SQL 连接到一个部署好的Hive上。
当然即使没有部署好Hive,Spark SQL也是可以运行的,但是Spark SQL会在当前的工作目录中创建出自己的Hive元数据库,称为metastore_db。
现在正式进行配置。
(1)寻找自己所安装的Hive,进入到conf中:
将hive-site.xml文件复制到spark的conf目录下:
cp /usr/local/hive-2.3.7/conf/hive-site.xml /usr/local/spark2.4.7/conf
(2)现在我们需要MySQL驱动。缺少MySQL驱动可以自行在官网上下载
?wget http://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.40.tar.gz
不过既然配置过Hive想必MySQL驱动以及放在原有的Hive的lib目录下
将该驱动放入spark的jars中(spark升到2.0.0版本后lib改为了jars目录)
cp mysql-connector-java-5.1.40-bin.jar /usr/local/spark2.4.7/jars
然后在spark的spark-env.sh文件下添加一行路径
export SPARK_CLASSPATH=/usr/local/spark2.4.7/jars/mysql-connector-java-5.1.40-bin.jar
(3)启动MySQL服务
service mysqld start
(4)启动Hive的metastore服务:
(5)修改日志级别。
进入spark的conf目录:
将该目录下的log4j.properties.template文件复制为log4j.properties,修改该文件:
(6)启动Spark集群。
./start-all.sh
(7)启动spark-sql。进入spark的bin目录下:
测试完后验证部署成功。
?
?
趁着假期的时间所以想重新学习下微软的官方文档来巩固下基础知识。我们都知道微...
testCookies.asp ' 检查浏览器是否接受 Cookies. % strTest = Request.QueryStri...
1 .列举ASP.NET 页面之间传递值的几种方式。 1).使用QueryString, 如....id=1; r...
????工厂模式主要是为创建对象提供过渡接口以便将创建对象的具体过程屏蔽隔离起...
一、前言 在一次生产环境发布后,运维对我说,你这个日志打印了两遍,你看一下,...
c语言 Float的存储方式 ?浮点型存储方式是根据IEEE电子和电子协会 754规定的-1)^...
SpringMVC介绍之Validation 对于任何一个应用而言在客户端做的数据有效性验证都...
先给大家展示下效果图,然后再给大家撸代码,效果图如下所示: 下面写一个简单的...
JAVA中的时间与日期——瞬时Instant 瞬时Instant Instant时间线上的一个瞬时点。...
代码片段是开发者每天都要面对的东西,甚至有时候查找代码片段的时间比编写新代...