柴斌

柴斌来自 NVIDIA DevTech 团队,从事企业用户 GPU 加速计算支持工作。目前主要负责搜广推链路的性能调优和 kernel 开发。

Posts by 柴斌

智能体/生成式 AI

GR-Inference:面向生成式推荐的推理系统设计与性能评估

基于 Semantic ID(SID)的生成式推荐,将推荐过程转化为短序列自回归生成。这类负载不同于 Chat LLM 的常规生成: 2 MIN READ
AI 平台/部署

NVIDIA recsys-examples: 生成式推荐系统大规模训练推理的高效实践(上篇)

在生成式 AI 浪潮的推动下,推荐系统领域正经历深刻变革。传统的深度学习推荐模型(DLRMs)虽已展现出一定效果, 2 MIN READ