Posts by Ruixiang Wang
数据科学
2026年 6月 9日
模型量化:借助 NVIDIA TensorRT 将 FP8 检查点转变为高性能推理引擎
将量化检查点转换为 NVIDIA TensorRT 引擎可以弥合模型优化与生产部署之间的差距,从而实现更快的推理速度、
4 MIN READ
数据科学
2026年 5月 7日
模型量化:使用 NVIDIA Model Optimizer 进行后训练量化
模型量化是一种有效的方法,可减少显存占用并提升消费级设备(如 NVIDIA GeForce RTX GPU)上的推理性能。
2 MIN READ
数据科学
2025年 11月 24日
模型量化:核心概念、实现方法与关键作用
随着 AI 模型日益复杂,往往超出可用硬件的承载能力,量化技术已成为应对这一挑战的关键手段,使资源密集型模型得以在受限的硬件上运行。
5 MIN READ