本文描述问题及解决方法同样适用于 弹性 MapReduce(EMR)。
Linux环境:centos7.4
CDH:5.16.1
Java:1.8.0_131
Sentry版本:1.5.1
Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成,未来会扩展到其他的Hadoop组件,例如HDFS和HBase等。
1. 在主页,单击群集名称右侧的下拉,点击“添加服务”;
2. 选择Sentry,点击“继续”;
3. 选择一组依赖关系;
4. 确认新服务的主机分配;
5. 配置存储数据库;
在mysql中创建对应用户和数据库:
mysql> create database sentry default character set utf8 collate utf8_general_ci; mysql>grant all on sentry.* to 'sentry'@'cdh03.ali.aiwaystack.com' identified by 'sentry'; mysql>flush privileges;
6. 测试连接
7. 创建Sentry数据表,启动Sentry服务
1. 在“Sentry 服务”中选择“Sentry”
2. 修改下面参数
Hive.warehouse.subdir.inherit.perms-->true
3. 选择hive-site.xml 的 Hive 服务高级配置代码段(安全阀),增加如下配置:
<property> <name>sentry.hive.testing.mode</name> <value>false</value> </property>
4. 选择“范围”中的“HiveServer2”,修改如下配置:
hive.server2.enable.impersonation, hive.server2.enable.doAs-->false
5. 选择hive-site.xml 的 HiveServer2 高级配置代码段(安全阀),添加如下配置
<property> <name>hive.security.authorization.task.factory</name> <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value> </property>
6. 选择hive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀),添加如下参数:
<property> <name>hive.metastore.client.impl</name> <value>org.apache.sentry.binding.metastore.SentryHiveMetaStoreClient</value> <description>Sets custom Hive Metastore client which Sentry uses to filter out metadata.</description> </property> <property> <name>hive.metastore.pre.event.listeners</name> <value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value> <description>list of comma separated listeners for metastore events.</description> </property> <property> <name>hive.metastore.event.listeners</name> <value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value> <description>list of comma separated listeners for metastore, post events.</description> </property> <property> <name>hive.metastore.filter.hook</name> <value>org.apache.sentry.binding.metastore.SentryMetaStoreFilterHook</value> </property>
在“允许的系统用户”参数“allowed.system.users”中添加hive用户
Yarn->配置->min.user.id修改为合适的值,当前为0
管理员组(sentry.service.admin.group)和允许的连接用户(sentry.service.allow.connect)中添加admin用户和组;
选择“服务范围”,修改管理员组,将默认“hive”、“impala”、“hue”删除,并增加“admin”。
在sentry-site.xml 的 Sentry 服务高级配置代码段(安全阀)中添加如下参数:
<property> <name>sentry.service.processor.factories</name> <value>org.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory,org.apache.sentry.hdfs.SentryHDFSServiceProcessorFactory</value> </property> <property> <name>sentry.policy.store.plugins</name> <value>org.apache.sentry.hdfs.SentryPlugin</value> </property> <property> <name>sentry.hdfs.integration.path.prefixes</name> <value>/user/hive/warehouse</value> </property>
勾选上即可。
在 Cloudera Manager 中为任何服务启用安全保护之后,将自动触发称为“生成凭据”的命令。您可以在显示正在运行的命令的屏幕右上角看到该命令的进度。请等待此命令完成(通过内含“0”的灰色框表示)。
前言 微服务成了互联网架构的标配模式,对微服务之间的调用的流量治理和管控就尤...
本文转载自微信公众号「后端Q」,作者conan。转载本文请联系后端Q公众号。 概述 ...
背景 有时候我会碰到快速搭建测试服务的需求,比如像这样: 搭建一个 HTTP Servi...
1.百度是个大骗子,我抄了十几年的满分作文却从未得过满分。 2.学神在刷难题,...
基于阿里巴巴的互联网架构、大数据技术,利用混合云架构打造全新的云化电子税 务...
1.在报名的路上,我看见远处的学校,轰!的一声没了。希望如此。 2.男:我一直...
作者 | 楚奕 来源 | 阿里技术公众号 这篇文章主要从技术视角介绍下跨平台WebCanv...
3月24日,腾讯发布2020年Q4及全年财报,其中金融科技及企业服务第四季收入385亿...
创业与投资的本质,都是追寻一种能够穿越时空,抵达未来的高效方式。 德勤管理咨...
1.某女生寝室门口贴着一个告示男生与饭盒不得入内,问何解?答曰两者都会搞大女...