数据中心/云端

使用 NVIDIA Kubernetes Engine 管理适用于 GPU 基础架构的 Kubernetes 集群

NVIDIA 宣布推出两个开源项目,用于在 GPU 基础设施上构建和运行托管 Kubernetes 服务,即 NVIDIA Kubernetes Engine (NVKE) 和 NVIDIA Kubernetes Recipes (NVKR) 。这两个新项目均可在公开预览版中找到。

AI 工厂客户通常希望通过他们已经使用的 Kubernetes API、工具和生态系统消耗 GPU 容量,而工厂则运营其集群。提供此服务需要 API 驱动的调配、租户隔离、升级和恢复,并以服务承诺为后盾。它还需要跨 GPU 代和 Kubernetes 版本的符合资格的 GPU 硬件、网络、驱动和运行时软件。

NVKE 和 NVKR 将此工作分为集群管理和可复制的软件构建。NVKE 提供用于运行托管 Kubernetes 服务的软件,该服务安装在工厂的基础设施上,并提供用于调配和管理集群的 API。NVKR 使用定义经过验证的软件版本和 GPU 代组合的方法来构建这些集群所需的操作系统镜像、容器镜像和软件包。AI 工厂保留对其软件、运营、服务和客户体验的控制权。团队可以同时采用 NVKE 和 NVKR 项目,也可以单独采用。

NVKE 和 NVKR 都是 NVIDIA DSX AI 工厂平台的组件,该平台可帮助 AI 工厂设计、构建和运营 GPU 基础设施。这两个项目均可根据 Apache 2.0 许可证在 GitHub 上获得,因此团队可以检查代码、并行开发并做出改进。在公开预览期间,API、配置和行为可能会在不同版本之间发生变化。尚不推荐将 NVKE 和 NVKR 用于生产工作负载。查看预览状态和已知限制。

此演练包括使用 NVKR 构建节点镜像、部署 NVKE 管理平面,以及配置客户 Kubernetes 集群。

NVKE 和 NVKR 如何协同工作

  • NVKR 构建软件:它根据特定源版本生成节点镜像、二进制文件、容器镜像和 Helm 图表,并记录构建输入。
  • NVKE 管理集群:它使用这些构件来调配和运行 Kubernetes 集群。

团队可以同时使用这些项目,也可以单独使用。NVKE 对 NVKR 没有运行时依赖关系,并且 NVKR 可以为其他 Kubernetes 管理系统构建构件。

nvkectl 在引导主机上启动临时种子集群,并使用该集群形成管理集群。NVKE 管理平面 (包括 REST API 和控制器) 在管理集群上运行。管理平面为 AI 工厂客户创建工作负载集群,每个集群都有自己的 Kubernetes 控制平面等和节点池。机器由 NVIDIA 基础设施控制器 (NICo) 提供,该控制器通过 NICo 的集群 API 基础设施提供商 CAPNICo 管理裸机生命周期。

节点必须先提供经过认证的 SPIFFE 身份,然后才能接收加入凭据。NVKE 遥测工作流是一种基于 OpenTelemetry 的 Helm 图表,用于收集日志、指标和追踪,并通过 OTLP 将其导出到监控后端。

在每个工作负载集群中,团队通过 AI 集群运行时 (AICR) 添加 GPU 加速运行时,通过 NodeWright 添加节点包,并通过 NVSentinel 实现中断修复自动化。

NVKE 是经过认证的 Kubernetes AI 平台和 Kubernetes 安装程序,在 Kubernetes 1.36 上进行了一致性测试。

从 bare metal 到客户集群

此演练介绍了如何使用 NVKR 构建节点镜像、使用 nvkectl 部署 NVKE 管理平面,以及通过 NVKE API 创建客户集群,从而从机架中安装的服务器开始调配客户 Kubernetes 集群。NVKE 文档列出了每个标志和选项,以及最新的步骤。

演练预备知识:

  • 用于管理集群的三个 CPU 服务器,以及站点网络上的一个单独的 Linux 引导主机,其中包含 containerd、nerdctl、kind、Helm 和 kubectl
  • 三个 CPU 服务器,用于工作负载集群控制平面
  • 用于工作节点的 GPU 服务器池
  • 具有注册容量的 NICo 安装
  • 支持 Docker 和 KVM 的 Linux 构建主机
  • 节点镜像的 HTTP 服务器、控制器镜像的容器注册表,以及用于下载安装期间使用的开源镜像和 Helm Chart 的互联网访问权限

构建节点镜像

NVKR 定义了由 NVIDIA 针对 NVKE 验证的 Kubernetes 软件配置,并提供了可重现的工作流,可将该定义转化为可部署的构件。NVKR 从版本固定的来源构建节点图像,并记录每个输入,因此团队可以识别每个图像中包含的软件,并在之后进行重建。管理集群和每个节点池可以运行不同的镜像,例如每个 CPU 架构或 GPU 生成的镜像。

团队在构建主机上克隆 NVKR 存储库。然后,他们运行快速启动脚本来构建 nvkectl、NVKE 控制器镜像及其 Helm 图表,以及第二个脚本来构建节点镜像 (在此演练中名为 node-image-01) 。

$ git clone https://github.com/dsx-ai-factory/nvkr.git && cd nvkr
$ bash scripts/nvkr-quickstart.sh
$ NVKE_OS_ARCH=amd64 scripts/nvke-os-local.sh node-image-01

节点镜像构建从源代码编译 NVKE 节点代理和 OVN-Kubernetes,并添加 Kubernetes 1.36 包的 checksum-pinned 上游版本和 SPIRE 代理。然后,它会从 Ubuntu 安装程序启动虚拟机,安装代理,并在磁盘上暂存 Kubernetes 和网络包。结果是 QCOW2 磁盘映像。团队将控制器镜像推送到注册表,将 nvkectl 复制到引导主机,然后将 QCOW2 放在 HTTP 服务器上。

部署 NVKE 管理平面

NVKE 管理平面在名为管理集群的 Kubernetes 集群上运行。团队在引导主机上运行以下命令,开始创建管理集群:

$ nvkectl bootstrap site -f site-a.yaml \
    --nvke-controller-image registry.example.com/nvke/nvke-controller:<tag>

站点规格文件 site-a.yaml 包含 NICo 为管理集群配置三台服务器所需的输入。引导命令可在引导主机上启动临时 Kubernetes 集群。此临时集群使用 kind 运行单个 Kubernetes 节点,并托管设置所需的 NVKE 软件。

NVKE 控制器向 NICo 请求三台服务器,NICo 会从先前构建的节点镜像启动这些服务器。当所有三个节点都加入后,引导过程会删除临时集群,退出管理集群。然后,团队在管理集群上安装 NVKE 管理平面,并运行 nvkectl config set-site,将命令行工具连接到 NVKE API。

发布客户将运行的版本集

客户可以从 AI 工厂发布的内容中选择一个版本。它们不能直接处理操作系统镜像或云初始化配置。

发行版集包含三个组件:

  1. 机器镜像包含用于启动服务器的 iPXE 脚本 NICo。
  2. 集群版本会将机器镜像与云初始化配置配对,以便准备控制平面节点并记录云初始化安装的 Kubernetes 版本。
  3. 节点池版本为工作节点提供相应的镜像和配置。
$ nvkectl create machineimage -f machineimage.yaml
$ nvkectl create clusterrelease -f clusterrelease.yaml
$ nvkectl create nodepoolrelease -f nodepoolrelease.yaml

创建客户集群

客户集群请求包括与站点规范相同的 NICo 输入,以及 Kubernetes 版本。控制平面和每个节点池都有自己的实例类型、VPC 前缀和发布。在本示例中,控制平面和 GPU 节点池参考发布了名为 k8s-1.36.3-amd64 的版本。

name: customer-a
controlPlaneKubernetesVersion: 1.36.3
etcdEncrypted: true
controlPlaneVIP: 10.0.20.10
nico: {orgID: <org-id>, siteID: <site-id>, vpcID: <vpc-id>}
controlPlaneConfig:
  desiredCount: 3
  nico: {instanceTypePreference: [<cpu-instance-type>], vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nodePools:
  - name: gpu
    nodeNamePrefix: gpu
    desiredNodeCount: 4
    nico: {instanceTypeID: <gpu-instance-type>, vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}

团队将请求另存为 customer-a.yaml,然后运行以下命令,通过 nvkectl 将其提交至 NVKE REST API。

$ nvkectl create cluster -f customer-a.yaml

在第一个控制平面节点运行 kubeadm init 且 NVKE 安装 OVN-Kubernetes 和 NodeLocal DNSCache 之前,集群状态仍为 Provisioning 。然后,状态更改为“Provisioned” (已置备) 。

为客户提供访问权限

客户通过 kubeconfig 访问集群的 Kubernetes API,而 AI 工厂则继续通过 NVKE API 进行管理。为向客户提供访问权限,团队从管理集群中检索集群的 kubeconfig,并安全地进行共享。

$ nvkectl get kubeconfig customer-a --output-file customer-a.kubeconfig
kubeconfig written to customer-a.kubeconfig

使用 NVKE 和 NVKR 构建 AI 工厂和合作伙伴

NVIDIA 云合作伙伴 Firmus 和 SK Telecom 正在将 NVKE 和 NVKR 集成到其 AI 工厂中,以构建和部署托管 AI 工作负载的 Kubernetes 集群。

此外,NVIDIA 合作伙伴 Mirantis、Rafay、Spectro Cloud、OpenNebula Systems 和 vCluster 正在将 NVKE 和 NVKR 组件集成到其托管 Kubernetes 产品中,以帮助其 AI 工厂客户在 Kubernetes 上运行 AI 工作负载。Netris 正在为其网络自动化解决方案启用 NVKE。

立即在公开预览版中提供

NVKE 和 NVKR 处于公开预览阶段,尚不推荐用于生产工作负载。这些项目正在迅速发展,NVKE API 可能会在不同版本之间发生变化。“ Preview status ” (预览状态) 页面列出了当前限制。

团队可以根据其基础设施要求评估项目,并在公共 NVKE 和 NVKR 路线图上审查计划工作。反馈和贡献有助于塑造 NVKE、NVKR 和 DSX AI Factory 堆栈的其余部分。

开始使用

NVKE 和 NVKR 是开源组件,可通过 NVIDIA DSX AI Factory GitHub 组织 以及 CAPNICo 获取。从 NVKE 文档 开始,或在单台机器上试用 本地快速入门,无需 GPU 或 NVIDIA 账户。

  • 使用 Slack 邀请链接,在 NVIDIA DSX AI Factory Slack 工作空间的 #nvke 中加入对话。与社区分享您构建的内容。
  • 请在 KubeCon 上参观 NVIDIA 170 号展位,了解更多 Kubernetes 深入探讨和现场演示。

标签