当前位置:主页 > 查看内容

Spark SQL DataFrame查看函数一文详解运用与方法

发布时间:2021-08-10 00:00| 位朋友查看

简介:? 前言 配置的虚拟机为Centos6.7系统hadoop版本为2.6.0版本先前已经完成搭建 CentOS部署Hbase 、 CentOS6.7搭建Zookeeper 和 编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装 。在此基础上完成了 Hive详解以及CentOS下部署Hive和Mysql 和 Spark框架在CentO……

?


前言

配置的虚拟机为Centos6.7系统,hadoop版本为2.6.0版本,先前已经完成搭建CentOS部署HbaseCentOS6.7搭建Zookeeper编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装。在此基础上完成了Hive详解以及CentOS下部署Hive和MysqlSpark框架在CentOS下部署搭建。Spark的组件Spark SQL的部署:Spark SQL CLI部署CentOS分布式集群Hadoop上方法

配置JDK1.8、Scala11.12

本文将介绍DataFrame基础操作以及实例运用


DataFrame查看数据

Spark DataFrame常用操作函数或方法

函数或方法描述
printSchema打印数据模式
show查看数据
first/head/take/takeAsList获取若干行数据
collect/collectAsList获取所有数据

?

下面将:文件转化为DataFrame进行操作:

1.printSchema:打印数据模式

查看数据模式可以通过printSchema函数来查看,它会答应后出列的名称和类型。

2.show:查看数据

show相关方法

方法介绍
show()显示前20条记录
show(numRows:Int)显示numRows条记录
show(truncate:Boolean)是否最多只显示20个字符,默认为true
show(numRows:Int,truncate:Boolean)显示numRows条记录并设置过长字符串的显示格式

?

show():

show(5):

show(false):

3.first/head/take/takeAsList:获取若干行记录

DataFrame获取若干行记录的方法:

方法解释
first获取第一行记录
head(n:Int)获取前n行记录
take(n:Int)获取前n行记录
takeAsList(n:Int)获取前n行数据,并以List的形式展现

first和head功能相同,以Row或者Array[Row]的形式返回一行或多行数据。

take和takeAsList方法会将获得的数据返回到Driver端:

4.collect/collectAsList获取所有函数

collect方法可以将DataFrame中的所有数据都获取到,并返回一个Array对象,collectAsList方法可以获取所有数据到List:

?


;原文链接:https://blog.csdn.net/master_hunter/article/details/115840774
本站部分内容转载于网络,版权归原作者所有,转载之目的在于传播更多优秀技术内容,如有侵权请联系QQ/微信:153890879删除,谢谢!

推荐图文


随机推荐