简介: 以测试集群版本为例(EMR-4.4.1)—— Flink SQL Client 集成 Hive 使用文档
作者:林志成,阿里云EMR产品团队技术支持,拥有多年开源大数据经验
cp /opt/apps/ecm/service/flink/1.10-vvr-1.0.2-hadoop3.1/package/flink-1.10-vvr-1.0.2-hadoop3.1/conf/sql-client-defaults.yaml /etc/ecm/flink-conf/
并做如下修改
(如果需要在别的集群也使用的话执行以下步骤,以及所有拷贝jar的步骤在所有机器执行)
scp /etc/ecm/flink-conf/sql-client-defaults.yaml root@emr-worker-1:/etc/ecm/flink-conf/
scp /etc/ecm/flink-conf/sql-client-defaults.yaml root@emr-worker-2:/etc/ecm/flink-conf/
...(这里参考后面,因为还有几个jar需要拷贝)
start-cluster.sh
sql-client.sh embedded
会发现报错如下:
原因是缺少jar包,执行下面操作不然会有一系列报错。
cd /usr/lib/flink-current/lib
sudo cp /lib/hive-current/lib/hive-exec-3.1.2.jar .
sudo wget https://repo1.maven.org/maven...
sudo wget https://repo1.maven.org/maven...
sudo wget https://repo1.maven.org/maven...
start-cluster.sh
sql-client.sh embedded
下面是空的因为新集群没有数据,下面到hive去创建点数据
重新执行sql-client.sh embedded进入SQL client发现已经能看见了。
查询发现报错了。
排查了下看8081端口都没有起来
最后发现是社区hive connector的兼容性问题,之前的冲突是1.10.2导致的,理论上vvr-1.10可以使用社区的hive-connector-1.10.x,这个问题在1.11里面已经修复了。
所以我们换一下jar包。
mv flink-connector-hive_2.11-1.10.2.jar /tmp/
sudo wget https://repo1.maven.org/maven...
start-cluster.sh;sql-client.sh embedded
出现上图所示就成功了。
本文为阿里云原创内容,未经允许不得转载。
qq空间有欢迎动画,想要给网页制作一个开场动画效果,该怎么制作呢?下面我们就...
一、反常的SQL语句 某周四午休时分,我正在工位上小憩,睡梦中仿佛看到了自己拿...
企业内部H5微应用开发 分为 服务端API和前端API的开发,主要涉及到进入应用免登...
前言 现在不管是桌面客户端还是移动客户端,都会夹杂着一部分H5页面,这种混合式...
大家都知道网页中必须要有图片,那么具体的该如何在网页设计中加入图片呢?下面...
至上一回分解完淘宝详情页( 点击查看 )后,再写了一篇关于商城基础模板装修首页...
一只小奶狗会有名字、品种以及一堆可爱的特点作为其属性。如果将其建模为一个类...
默认uni-app打包出来的H5在Android上是没法播放.m3u8直播流的,控制台或报错 Unc...
CSS 是样式、布局和表示的领域。它充斥着颜色、大小和动画。但是你知道吗,它还...
css-vars-ponyfill 通过css变量来实现网页换肤的过程中,会出现兼容性问题。 为...