LocalAI

OpenAI API 的即插即用替代方案，支持消费级硬件的本地/私有部署推理，兼容多种模型家族和后端，且可处理标准格式（如 GGUF）。

简而言之：

本地化、可替代 OpenAI 的 REST API。数据由您完全掌控。

无需 GPU，支持本地/设备端推理（离线运行）。

部分支持 GPU/NPU 加速的 llama.cpp 兼容 LLM。另见构建章节。

模型推理管道/后端无关！可通过 Gallery WebUI 或 CLI 安装推理后端。

支持的任务类型：

文本生成（支持 llama.cpp、transformers、vllm、exllama2、gpt4all.cpp 等）

文本转音频：

声音/音乐生成（transformers-musicgen）

语音生成（whisper、bark、piper、bark.cpp）

语音转文本（如语音识别，支持 whisper.cpp 等）

图像生成（使用 diffusers/stable-diffusion.cpp，支持文生图、图生图等）

文本嵌入（支持 sentencetransformers、transformers）

文本重排序（rerankers、sentencetransformers）

首次加载后，模型将常驻内存，实现更快推理

分布式推理（联邦与 P2P 模式）

补充说明：

性能/吞吐量因所选推理管道而异，建议使用基于 C/C++ 的管道（如 llama.cpp）以获得更快速度与更好性能。请查阅 LocalAI 文档获取最新信息。