Cloudera CDP PvC Base7.1.6的新功能是什么？

根据IDG的说法 当客户考虑更新到产品的最新版本时 他们期望新功能、增强的安全性和更好的性能 但越来越希望拥有更简化的升级过程。伴随着CDP私有云的每个新版本 我们正在努力提供这些内容。伴随着许多新功能 我们正在尽可能简化升级过程。在此博客中 我们将介绍7.1.6版本中的新功能以及从HDP进行的新的就地升级 从而完全消除了替换基础架构和数据迁移的麻烦。

如下所示 CDP私有云基础堆栈为CDH 5.13 – 5.16和HDP 2.6.5的客户提供了升级途径。在此版本中 我们还支持从HDP 3.1.5升级。?

1.CDP私有云基础7.1.6提供以下类别的好处 ·更好的升级支持?

o?? 支持从HDP 3.1.5到CDP私有云基础版的就地升级 并增强了自动化工具的功能 可以轻松地从Ambari过渡到Cloudera Manager。?

o?? 支持HDP2.6.5和CDH5.[13-16]的回滚以及相应的文档

o?? 使用处理更复杂放置规则的增强工具 改进了“公平计划程序”到“容量计划程序”的转换。?

·平台增强?

o?? YARN新的放置规则引擎为公平调度程序到容量调度程序的迁移提供了更好的转换 并提供了更好的放置规则管理?

o?? 对父队列和子队列的自动动态队列支持

o?? 增加了权重模式以支持CDH客户更轻松的过渡。

o?? 新增了对独立NiFi / Kafka集群的支持

o?? 我们增加了对RHEL / CentOS 7.9的操作系统支持以及对MySQL8和Postgres 12的数据库支持 以进一步协助迁移。

·对象存储

o?? Ozone是一种分布式键值对象存储 可提供20倍于传统HDFS的可伸缩性 并减少了集群蔓延 消除了小文件数量的限制并简化了集群管理。?

o?? Ozone支持350TB的密集型节点配置 与HDFS相比 当前的可用存储容量增加了350 ?并将存储成本降低了50 。

·SDX –安全与治理?

o?? Ranger审核筛选器可提供更好的审核管理。Ranger Audit筛选器有助于使用JSON定义的筛选器来控制捕获的审核事件 以便仅通过包含相关事件来简化审核量。?

o?? 对Ranger Audit UI的改进 它提供了诸如可调整列和通过UI选择可见列的选项之类的增强功能。??

·数据工程?

o?? 采用Spark 3 将性能提高一倍 现在作为单独的组件发布?

o?? Hive Warehouse Connector HWC 使数据工程更简单 更快捷。

o?? 与HWC更好的Hive-Spark交互 使数据工程应用程序更简单 更高效地创建。

·数据仓库

o?? 与传统的MapReduce相比 使用Hive on Tez的有向无环图 DAG 和数据传输原语可提高查询性能。?

o?? Impala的改进将性能提高了2倍至7倍。?

o?? 具有实例化视图和查询缓存的更快的Hive查询

o?? 我们已在Impala中启用了与角色相关的语句 以允许使用Ranger作为授权提供者 而不是CDH用户的Sentry。

·运营数据库

o?? Phoenix 5.1增加了事务支持

o?? 同时支持SQL和No SQL 吞吐性能提高15 – 20 。

o?? 支持运行TPC-C基准测试的复杂x-row / x-table分布式事务以及对ANSI SQL的支持 可以轻松地从MySQL数据库迁移到Operational Database。

o?? 我们添加了基于Accumulo 2.0的“由ApacheAccumulo支持的OpDB” 使使用Accumulo的HDP客户能够使用语义版本控制 批量导入和简化脚本等功能升级到CDP私有云基础版。

现在 让我们吸引您注意其中的3个功能 并扩展它们为平台带来的功能。

2.平台– HDP 3就地升级增强功能

HDP 3.1.5客户现在可以将其HDP 3集群直接升级到CDP私有云基础版 而无需构建新群集并迁移工作负载或数据。

升级路径包括以下步骤 ?

已创建新版本的AM2CM工具 1.2.0 以支持从Ambari托管集群到Cloudera Manager托管集群的过渡。?

AM2CM工具将Ambari 2.7.5蓝图作为输入并将其转换为Cloudera Manager部署模板。接下来 客户可以将部署模板迁移到Cloudera Manager 这使客户可以通过Cloudera Manager启动CDP集群。

此外 现在可以使用回滚过程从HDP2和CDH5群集进行升级。?

3.?平台– Fair Scheduler升级工具增强功能

公平调度程序到容量调度程序 FS2CS 转换工具为从先前CDH版本升级的客户提供了改进的调度程序过渡。??

借助该工具 客户可以使用相同或更好的SLA来运行其作业或应用程序 而无需进行任何中断或代码更改。将群集升级到CDP之后 客户现在可以使用YARN QueueManager以更加用户友好的方式调整群集资源管理配置。?

我们引入了以下新功能?

·增强型放置规则引擎?

·动态队列支持?

·权重模式

放置规则确定将应用程序和作业分配到的队列。在新的布局规则评估引擎已增强为客户提供以下情况 ?

·支持来自单亲的静态队列和动态队列。?

·具有备用操作配置的其他策略选项 可以将其定义为在放置规则的目标队列不存在或无法创建时应执行的操作

·引入放置规则策略可以提供比映射规则创建更好的解决方案 并且可以为最常见的用例提供快捷方式。

·放置规则引擎现在支持create标志 该标志在启用自动动态队列创建时创建不存在的队列。

·自动将旧的放置规则 队列映射 转换为新的基于JSON的格式

从单个页面创建新的放置规则 该规则允许配置所有选项

在7.1.6之前的版本中 客户可以使用绝对模式 将资源按单位分配 或相对模式 将资源分配为总可用资源的百分比 来将资源分配给队列。在此版本中 我们添加了一种新的分配资源的模式 称为权重模式。权重模式的功能包括

·将容量分配为数值并以“ w”为后缀。权重是总资源的一小部分。队列优先级用作权重 以确定每个应用程序应获得的总资源的比例。

·只需点击几下即可在相对和权重模式之间切换

·一键启用队列的自动动态子级创建。这允许父队列同时具有静态和动态子队列。静态队列具有规则和表达式以及预先创建的目标队列和用户映射。动态队列允许基于规则和表达式自动创建队列。可通过YARN队列管理器UI轻松启用此功能。

4.?运营数据库– Apache Phoenix 5.1

我们已将Apache Phoenix 5.1作为Operation Database的一部分发布到CDP私有云中 以提供以下功能 ?

·基于Apache HBase构建的横向扩展RDBMS

·星型模式支持和演化模式支持

·视图和二级索引支持

·全面支持Apache Omid?

通过Phoenix 5.1 我们添加了复杂的x行 x表事务支持 开箱即用地支持TPC-C基准测试 。在此版本之前 Phoenix仅支持单行原子事务。在此版本中 将分片的MySQL和PostgreSQL部署迁移到Cloudera变得更加容易 Cloudera的分区管理是完全自动化的 并且扩展并不意味着增加了操作复杂性。??

此版本还对我们的二级索引进行了改进 以确保索引更新与数据插入和高插入之间保持高度一致。

借助7.1.6版本添加的新功能 增强功能和改进的升级途径 现在没有更好的时间将现有的CDH或HDP集群过渡到CDP私有云基础版。要计划您的迁移 请参阅CDP升级和迁移路径以获取更多信息 或与您的Cloudera客户团队联系以讨论最佳方法。?

5.其他资源

·CDP私有云基础7.1.6发行说明

·YARN资源分配

·如何使用YARN动态队列?

·7.1.6的新功能

·HDP升级概述?

·HDP 3到CDP升级?

·旅程顾问工具

·知识中心

原文作者 Karthik Krishnamoorthy

原文链接 https://blog.cloudera.com/whats-new-in-cdp-private-cloud-base-7-1-6/

本文转自网络，原文链接：https://developer.aliyun.com/article/785839
本站部分内容转载于网络，版权归原作者所有，转载之目的在于传播更多优秀技术内容，如有侵权请联系QQ/微信：153890879删除，谢谢！