CUDA 计算图

大语言模型（LLM）的上下文窗口正在迅速扩展，近期的模型已支持128K、256K甚至更长的词元序列。然而，

传统上，在各种消费级硬件中部署 AI 应用需要进行权衡。可以针对特定 GPU 配置进行优化，以牺牲便携性为代价来提升性能；