模型优化器

团队可以自定义模型，在延迟、速度、内存和计算方面达到目标。借助开放式 NVIDIA Nemotron 系列模型，

模型量化是一种有效的方法，可减少显存占用并提升消费级设备（如 NVIDIA GeForce RTX GPU）上的推理性能。