容器服务 节点池概述 - 用户指南

简介

说明：

节点池功能目前已全量发布。如果您的集群中已创建伸缩组，现在仍可以继续使用。但节点池全量后容器服务 TKE 不会对旧版伸缩组进行新功能迭代，您可以使用 TKE 提供的 从伸缩组创建节点池 API 或 通过容器服务控制台 将伸缩组转换成节点池。
同时，除了对存量伸缩组的操作，不建议您在伸缩组入口下进行新建等操作。请通过节点池入口来完成相关操作（节点池已覆盖伸缩组的全部功能）。

为帮助您高效管理 Kubernetes 集群内节点，腾讯云容器服务 TKE 引入节点池概念。借助节点池基本功能，您可以方便快捷地创建、管理和销毁节点，以及实现节点的动态扩缩容：

• 当集群中出现因资源不足而无法调度的实例（Pod）时，自动触发扩容，为您减少人力成本。
• 当满足节点空闲等缩容条件时，自动触发缩容，为您节约资源成本。

产品架构

节点池整体架构图如下所示：

通常情况下，节点池内的节点均具有如下相同属性：

• 节点操作系统。
• 计费类型（目前支持按量计费、竞价实例和包年包月）。
• CPU/内存/GPU。
• 节点 Kubernetes 组件启动参数。
• 节点自定义启动脚本。
• 节点 Kubernetes Label 和 Taint 设置。

此外，TKE 将同时围绕节点池扩展以下功能：

• 支持用 CRD 管理节点池。
• 节点池级别每节点的 Pod 数上限。
• 节点池级别自动修复与自动升级。

应用场景

当业务需要使用大规模集群时，推荐您使用节点池进行节点管理，以提高大规模集群易用性。下表介绍了多种大规模集群管理场景，并分别展示节点池在每种场景下发挥的作用：

相关概念

TKE 的弹性伸缩实现是基于腾讯云弹性伸缩（AutoScaling）以及 Kubernetes 社区的 cluster-autoscaler 实现的。相关概念介绍：

• CA：cluster-autoscaler，社区开源组件，主要负责集群的弹性扩缩容。
• AS：AutoScaling，腾讯云弹性伸缩服务。
• ASG：AutoScaling Group，具体某个节点池（节点池依赖弹性伸缩服务提供的伸缩组，一个节点池对应一个伸缩组，您只需关心节点池）。
• ASA：AS activity，某次伸缩活动。
• ASC：AS config，AS 启动配置，即节点模板。

节点池内节点种类

为了满足不同场景下的需求，节点池内的节点可以分为两个类型。

说明

无特殊场景不推荐您使用添加已有节点功能，例如您没有新建节点的权限仅能通过添加已有节点来扩容集群，添加已有节点部分参数可能会与您定义的节点的模板不一致，将无法参与弹性伸缩。

节点池弹性伸缩原理

在您使用节点池弹性伸缩功能前，请阅读以下原理说明。

节点池弹性扩容原理

1. 当集群中资源不足时（集群的计算/存储/网络等资源满足不了Pod 的request /亲和性规则），CA（Cluster Autoscaler）会监测到因无法调度而 Pending 的 Pod 。
2. CA 根据每个节点池的节点模板进行调度判断，挑选合适的节点模板。
3. 若有多个模板合适，即有多个可扩的节点池备选，CA 会调用 expanders 从多个模板挑选最优模板并对对应节点池进行扩容。
4. 对指定节点池进行扩容 （根据多子网多机型策略），并且提供两种重试策略（可在创建节点池设置），在扩容失败时根据您设定的重试策略进行重试。

说明：

对特定节点池扩容时，会根据您创建节点池设置的子网以及后续设置的多机型配置来进行扩容。一般情况下会先保证多机型的策略，后保证多可用区/子网的策略。
例如您配置了多机型 A、B，多子网1、2、3，会按照 A1、A2、A3、B1、B2、B3 进行尝试，如果A1售罄，会尝试 A2，而不是 B1。

节点池弹性扩容原理如下图所示：

节点池弹性缩容原理

1. CA（Cluster Autoscaler）监测到利用率（取 CPU 利用率和 MEM 利用率的最大值）低于设定的节点。计算利用率时，可以设置 Daemonset 类型不计入 Pod 占用资源。
2. CA 判断集群的状态是否可以触发缩容，需要满足如下要求：
   • 节点空闲时长要求（默认10分钟）。
   • 集群扩容缓冲时间要求（默认10分钟）。
3. CA 判断该节点是否符合缩容条件。您可以按需设置以下不缩容条件（满足条件的节点不会被 CA 缩容）：
   • 含有本地存储的节点。
   • 含有 Kube-system namespace 下非 DaemonSet 管理的 Pod 的节点。

     说明：

     上述不缩容条件在集群维度生效，若您需要更细粒度的保护节点免于缩容，可以使用缩容保护功能。

4. CA 驱逐节点上的 Pod 后释放/关机节点（不会处理包年包月节点）。
   • 完全空闲节点可并发缩容（可设置最大并发缩容数）。
   • 非完全空闲节点逐个缩容。

节点池弹性缩容原理如下图所示：

功能点及注意事项

相关操作

您可以登录 容器服务控制台 并参考以下文档， 进行对应节点池操作：

• 创建节点池
• 查看节点池
• 调整节点池
• 删除节点池