问题导读
1.概述
yarn支持可扩展资源类型.所有节点、应用程序、队列,默认情况下Yarn使用 CPU和内存。资源定义可以扩展为任意的“countable”资源。一个countable 资源,container运行的时候,将会被暂用,完毕后将会释放。CPU 和(内存)memory都是 countable 资源。其它例子:包括GPU 资源和软件licenses。
2.配置
支持下面属性,详细如下:
resource-types.xml
node--resources.xml
3.yarn资源模型
Resource Manager
resource manager【资源管理器】是tracke集群中哪些资源的最终仲裁者。它从XML配置文件加载定义资源。。例如定义新增加的CPU 和memory,下面属性应该被配置
有效的资源名称必须以字母开头,并且只能包含字母,数字和“。”,“_”或“ - ”中的任何一个。有效的资源名称也可以选择在名称空间后加一个斜杠。一个有效的名字空间由句点分隔的字母,数字和破折号组成。 例如,以下是有效的资源名称:
以下是无效资源名的示例:
以上个人标注上了错误的比较明显的原因。大家也可以找找其它方面的错误。
对于定义的每个新的资源类型,可以添加可选的单元属性来设置资源类型的默认单位。 有效值是:
属性必须命名为yarn.resource-types..units。每个定义的资源也可以具有可选的最小和***属性。属性必须命名为: yarn.resource-types..minimum 和yarn.resource-types..maximum.
yarn.resource-types属性和任何的unit, mimimum, 或则maximum属性,可以定义在yarn-site.xml文件或则 resource-types.xml文件。例如,以下内容可能出现在任一文件中:
Node Manager
每个Node Manager独立定义该节点可用的资源。资源定义通过设置每个可用资源属性来完成。属性必须命名为 yarn.nodemanager.resource-type.或则放到 yarn-site.xml文件或则 node-resources.xml文件。该属性的值应该是该node提供的资源量。例子
请注意,用于这些资源的单位不需要与资源管理器【resource manager】所持有的定义相匹配。 如果单元不匹配,资源管理器将自动进行转换。
MapReduce使用资源
mapreduce从yarn请求三种不同类型的容器:application master容器, map容器,和reduce容器.对于每种容器类型,都有相应的一组属性可用于设置所请求的资源。在MapReduce中设置资源请求的属性有:
注意,这些资源请求可能会被YARN修改,以满足配置的minimum 和maximum 资源值,或者是配置增量的倍数。 请参阅yarn调度配置属性 yarn.scheduler.maximum-allocation-mb, yarn.scheduler.minimum-allocation-mb, yarn.scheduler.increment-allocation-mb, yarn.scheduler.maximum-allocation-vcores, yarn.scheduler.minimum-allocation-vcores, and yarn.scheduler.increment-allocation-vcores。
门户网站前期的访问量是很少的,所以对配置和带宽的要求并不高。服务器主要是针...
很多人都知道环境变量,很多人也在使用环境变量。但是很多人一说到在 Linux、mac...
1月28日消息,据外媒报道,谷歌云日前宣布BeyondCorpEnterprise已全面上市,这是...
为了提高网站的访问速度和承载的用户访问量,企业选折购买服务器然后托管到IDC机...
每年 域名 维护费多少钱?域名涉及到的费用,就是首次注册的费用和后期续费的费...
百度智能门户AIPAGE 做好一个网站等于五个网站 现在大部门企业都有官网网站,除...
如今,数据分析、数据可视化和大数据等术语已经变得非常流行。这些术语主要与涉...
当我闲暇时,我会浏览 Github 的代码库。使用新的计算机软件、工具或实用程序时...
前言 你好,我是A哥(YourBatman)。 有一个观点: 若一个Java开发者能把IDEA玩得6...
1. 接口描述 接口请求域名: iai.tencentcloudapi.com 。 用于创建一个空的人员...