Posts by Rakib Hasan
代理式 AI/生成式 AI
2025年 11月 10日
如何将数学问题的推理速度提升 4 倍
大语言模型能够解决具有挑战性的数学问题。然而,若要实现其大规模高效运行,仅依靠一个强大的模型检查点还远远不够。
3 MIN READ
代理式 AI/生成式 AI
2024年 12月 18日
NVIDIA TensorRT-LLM 现支持 Recurrent Drafting,实现 LLM 推理优化
Recurrent Drafting (简称 ReDrafter) 是苹果公司为大语言模型 (LLM) 推理开发并开源的一种新型推测解码技术,
2 MIN READ