AI Agent

AI 正在从实验转向生产。但是，企业需要的大多数数据都存在于公有云之外。这包括敏感信息，如患者记录、市场研究和包含企业知识的传统系统。此外，

随着大语言模型 (LLM) 推理工作负载的复杂性不断增加，单个单一的服务进程开始达到其极限。预填充和解码阶段具有截然不同的计算配置文件，

人工智能由 token 驱动。每个提示、推理步骤和智能体交互都会生成 tokens。在过去一年中，token 的消耗量增长了数倍，