前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >大数据Kudu(四):Kudu集群搭建

大数据Kudu(四):Kudu集群搭建

原创
作者头像
Lansonli
发布2022-12-17 09:18:36
1.2K0
发布2022-12-17 09:18:36
举报
文章被收录于专栏:Lansonli技术博客

?Kudu集群搭建

一、kudu 安装包

Kudu官网没有提供好编译好的Kudu安装包,我们可以下载源码进行编译获取安装包,这里为了方便我们直接使用Cloudera 提供的CDH版本kudu安装包:

  • centos7下载地址:

http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/5/RPMS/x86_64/

下载对应如下几个rpm安装包即可:

代码语言:javascript
复制
kudu-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-master-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-tserver-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-client0-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-client-devel-1.4.0+cdh5.12.2***.x86_64.rpm

此外,我们也可以在yum中配置cloudera yum源来使用yum方式安装Kudu,或者直接基于Cloudera Manager平台安装管理Kudu,需要注意的是基于Cloudera managera安装则需要Cloudera Manager 5.4.3或更高版本。

二、节点规划及安装

安装Kudu使用的Linux系统需要至少是Centos6及以上,这里选择Centos7安装,以下是节点角色划分:

节点名称

节点ip

节点角色

node1

192.168.179.4

Master Server,Tablet Server

node2

192.168.179.5

Master Server,Tablet Server

node3

192.168.179.6

Tablet Server

1、首先在每个节点上传安装包

在每台节点上创建/software/kudu目录,将rpm安装包上传到此路径下。

2、在node1、node2节点上安装如下rpm安装包

代码语言:javascript
复制
rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm

3、在node3节点上安装如下rpm安装包

代码语言:javascript
复制
rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm

4、配置Master Server

修改node1、node2节点/etc/default/kudu-master文件,配置Master Server绑定的IP为对应的节点:

代码语言:javascript
复制
#在node1节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node1:7051

#在node2节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node2:7051

5、配置Tablet Server

修改node1、node2、node3节点/etc/default/kudu-tserver文件,配置Tablet Server绑定的IP为对应的节点:

代码语言:javascript
复制
#在node1节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node1:7050

#在node2节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node2:7050

#在node3节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node3:7050

6、Master节点配置所有Master Server

在node1、node2 Master节点修改/etc/kudu/conf/master.gflagfile文件,在文件最后配置Master Server节点:

代码语言:javascript
复制
--fromenv=rpc_bind_addresses
--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/master
--fs_data_dirs=/var/lib/kudu/master #数据存储路径
--master_addresses=node1:7051,node2:7051 #配置Master Server

7、Server节点配置所有Master Server

在node1、node2、node3节点上修改/etc/kudu/conf/tserver.gflagfile文件,在文件最后配置Master Server节点:

代码语言:javascript
复制
--fromenv=rpc_bind_addresses
--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/tserver
--fs_data_dirs=/var/lib/kudu/tserver #数据存储路径
--tserver_master_addrs=node1:7051,node2:7051 #配置Master Server

三、??????????????Kudu集群启动及停止

1、启动Kudu

在每台Master Server节点上启动master:

代码语言:javascript
复制
service kudu-master start

在每台Tablet Server 节点上启动tserver:

代码语言:javascript
复制
service kudu-tserver start

2、检查kudu是否启动成功

在每台节点可以执行“ps aux|grep kudu”来查看对应的Kudu进程。如果启动Kudu出错或者没有对应的Kudu进程,可以在/var/log/kudu目录下查看日志。

3、访问Kudu WebUI页面

Kudu启动成功后,可以通过访问http://Master Server IP:8051来访问Kudu WebUI。Master Server 默认的WebUI端口为8051。这里访问任意的master节点都可以访问WebUI:

可以点击“Masters”标签查看Leader Master信息:

可以点击“Tablet Server”查看Tablet Server信息:

4、停止Kudu

在每台Master Server节点上停止master:

代码语言:javascript
复制
service kudu-master stop

在每台Tablet Server 节点上停止tserver:

代码语言:javascript
复制
service kudu-tserver stop

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • ?Kudu集群搭建
    • 一、kudu 安装包
      • 二、节点规划及安装
        • 1、首先在每个节点上传安装包
        • 2、在node1、node2节点上安装如下rpm安装包
        • 3、在node3节点上安装如下rpm安装包
        • 4、配置Master Server
        • 5、配置Tablet Server
        • 6、Master节点配置所有Master Server
        • 7、Server节点配置所有Master Server
      • 三、??????????????Kudu集群启动及停止
        • 1、启动Kudu
        • 2、检查kudu是否启动成功
        • 3、访问Kudu WebUI页面
        • 4、停止Kudu
    相关产品与服务
    数据保险箱
    数据保险箱(Cloud Data Coffer Service,CDCS)为您提供更高安全系数的企业核心数据存储服务。您可以通过自定义过期天数的方法删除数据,避免误删带来的损害,还可以将数据跨地域存储,防止一些不可抗因素导致的数据丢失。数据保险箱支持通过控制台、API 等多样化方式快速简单接入,实现海量数据的存储管理。您可以使用数据保险箱对文件数据进行上传、下载,最终实现数据的安全存储和提取。
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
    http://www.vxiaotou.com