Ekin Karabulut

Ekin Karabulut 是一位数据科学家兼开发者倡导者,他曾在 Run:ai 任职,现就职于 NVIDIA,探索如何在不同的生产场景中高效使用大型模型。此前,她研究了联邦学习对隐私的影响,专注于分布式训练技术,并对研究和行业环境中 GPU 使用效率低下感到着迷。她成立了 AI 基础设施俱乐部,现居德国慕尼黑。

Posts by Ekin Karabulut

数据中心/云端

使用 NVIDIA CUDA 13.4 在 Kubernetes 中实现显存增强 GPU 共享

许多 AI 工作负载只需要 GPU 的一小部分。为每台 GPU 配备整台设备会导致容量闲置; 2 MIN READ
精选

NVIDIA Run:ai 现已开源,成为 NVIDIA DSX AI Factory 平台的一部分

NVIDIA 正在将完整的 NVIDIA Run:ai 平台作为开源软件提供,使客户、 3 MIN READ
数据中心/云端

如何在共享 GPU 基础架构上运行隔离的租户 Kubernetes 集群

每个团队运行专用的 Kubernetes 集群通常会导致隔离程度超出组织所需的程度。虽然一个集群可以在多个团队之间成功共享, 4 MIN READ
数据中心/云端

在 Kubernetes 上部署解 LLM 推理工作负载

随着大语言模型 (LLM) 推理工作负载的复杂性不断增加,单个单一的服务进程开始达到其极限。预填充和解码阶段具有截然不同的计算配置文件, 4 MIN READ
智能体/生成式 AI

借助 NVIDIA Run:ai 与 NVIDIA NIM 充分释放 GPU 性能潜力

部署 LLM 的组织面临着推理工作负载的挑战,这些工作负载具有差异化的资源需求。小型嵌入模型可能仅需几 GB 的 GPU 显存, 4 MIN READ
智能体/生成式 AI

在 NVIDIA Run:ai 中利用 GPU 解锁大规模 Token 吞吐能力

随着 AI 工作负载的扩展,实现高吞吐量、高效资源利用和可预测的延迟变得愈发关键。 NVIDIA Run:ai 通过智能调度和动态 GPU… 4 MIN READ