?
配置的虚拟机为Centos6.7系统,hadoop版本为2.6.0版本,先前已经完成搭建CentOS部署Hbase、CentOS6.7搭建Zookeeper和编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装。在此基础上完成了Hive详解以及CentOS下部署Hive和Mysql和Spark框架在CentOS下部署搭建。Spark的组件Spark SQL的部署:Spark SQL CLI部署CentOS分布式集群Hadoop上方法。
配置JDK1.8、Scala11.12
本文将介绍DataFrame基础操作以及实例运用
函数或方法 | 描述 |
printSchema | 打印数据模式 |
show | 查看数据 |
first/head/take/takeAsList | 获取若干行数据 |
collect/collectAsList | 获取所有数据 |
?
下面将:文件转化为DataFrame进行操作:
查看数据模式可以通过printSchema函数来查看,它会答应后出列的名称和类型。
show相关方法
方法 | 介绍 |
show() | 显示前20条记录 |
show(numRows:Int) | 显示numRows条记录 |
show(truncate:Boolean) | 是否最多只显示20个字符,默认为true |
show(numRows:Int,truncate:Boolean) | 显示numRows条记录并设置过长字符串的显示格式 |
?
show():
show(5):
show(false):
DataFrame获取若干行记录的方法:
方法 | 解释 |
first | 获取第一行记录 |
head(n:Int) | 获取前n行记录 |
take(n:Int) | 获取前n行记录 |
takeAsList(n:Int) | 获取前n行数据,并以List的形式展现 |
first和head功能相同,以Row或者Array[Row]的形式返回一行或多行数据。
take和takeAsList方法会将获得的数据返回到Driver端:
collect方法可以将DataFrame中的所有数据都获取到,并返回一个Array对象,collectAsList方法可以获取所有数据到List:
?
ADO对象: Connection Command Recordset Record Stream ASP支持的对象很多,可...
本文将研究 ES6 的 for ... of 循环。 旧方法 在过去,有两种方法可以遍历 javas...
微信文件传输助手是微信电脑版与手机微信之间相互传输图片等文件的好工具,但很...
【排序算法】之lowb三人组冒泡、插入、选择 什么是lowb三人组 冒泡排序bubble so...
一、正则表达式概述 二、正则表达式在VBScript中的应用 三、正则表达式在VavaScr...
歌词编辑器 歌词编辑器 第一步:选择要播放的歌曲并播放 第二步:填写全部的歌词...
计算属性computed: 支持缓存,只有依赖数据发生改变,才会重新进行计算 不支持...
一石激起千层浪,继中国区浩浩荡荡的大裁员告一段落之后,甲骨文并未因此收起手...
vbs:把一段文字中指定字符颜色变成红色的正则 functionc(Tstr,Word) Dimre Setre...
前言 相信大家都知道在IDE中代码的智能提示几乎都是标配,虽然一些文本编辑器也...