王明

王明,小红书引擎架构部模型infra工程师,主要负责搜广推、生成式LLM推理优化

Posts by 王明

智能体/生成式 AI

GR-Inference:面向生成式推荐的推理系统设计与性能评估

基于 Semantic ID(SID)的生成式推荐,将推荐过程转化为短序列自回归生成。这类负载不同于 Chat LLM 的常规生成: 2 MIN READ