OpenAI API 的即插即用替代方案，可在消费级硬件上实现本地或私有部署推理，支持多种模型家族和后端，兼容 GGUF 等标准格式。
简而言之：

本地部署、可直接替代 OpenAI 的 REST API。你完全拥有你的数据。

无需 GPU，支持本地/设备端推理（离线运行）。

可选地，支持在兼容 llama.cpp 的 LLM 中启用 GPU/NPU 加速。详情请参见构建部分。

模型推理管道/后端无关！（可通过 Gallery WebUI 或命令行安装推理后端）

支持的任务类型：

文本生成（支持 llama.cpp、transformers、vllm、exllama2、gpt4all.cpp 等）

文本转音频：

声音/音乐生成（transformers-musicgen）

语音生成（whisper、bark、piper、bark.cpp）

语音转文本（即转录，支持 whisper.cpp 等）

图像生成（使用 diffusers/stable-diffusion.cpp，支持文本生成图像、图像生成图像等）

文本嵌入（支持 sentencetransformers、transformers）

文本重排序（支持 rerankers、sentencetransformers）

首次加载后，模型将被保留在内存中，以实现更快的推理速度。

支持分布式推理（联邦学习和点对点模式）

附加说明：

不同推理管道的性能/吞吐量可能有所差异。你可以选择基于 C/C++ 的推理管道（如 llama.cpp）以获得更快的推理速度和更好的性能。更多最新信息，请参阅 LocalAI 文档。