NVIDIA NIM

NVIDIA NIM 提供容器，可在云、数据中心、RTX AI 个人电脑和工作站上自托管 GPU 加速的推理微服务，适用于预训练及定制化的 AI 模型。NIM 微服务提供行业标准 API，便于简单集成到 AI 应用、开发框架和工作流中。基于 NVIDIA 及社区优化的推理引擎（包括 NVIDIA TensorRT 和 TensorRT-LLM），NIM 微服务针对每种基础模型与 GPU 的组合，优化响应延迟和吞吐量。

如何工作？
NVIDIA NIM 通过提供预优化模型和行业标准 API，简化了从实验到部署 AI 应用的流程，使爱好者、开发者和 AI 构建者能够轻松构建强大的 AI 代理、协作者、聊天机器人和助手。依托稳健的基础架构，包括 TensorRT、TensorRT-LLM 和 PyTorch 等推理引擎，NIM 专为在 NVIDIA GPU 上实现最新 AI 基础模型的无缝推理而设计，覆盖从云端、数据中心到个人电脑的全场景。