NVIDIA 推理优化

TensorRT LLM 是 NVIDIA 提供的开源推理优化库，旨在提升大型语言模型（LLM）在 NVIDIA GPU 上执行推理的性能与效率。该库为开发者提供高级 Python API、模块化运行时、可定制推理内核与多种优化策略，用于单机或集群级推理部署。