LocalAI
LocalAI
软件描述
即插即用的 OpenAI 替代方案，本地运行，以本地为优先，可生成文本/图像/语音/音乐等……后端无绑定：（llama.cpp、diffusers、bark.cpp 等），支持分布式推理（点对点/联邦）。
官方网站
访问软件的官方网站了解更多信息
localai.io
什么是 LocalAI?
OpenAI API 的即插即用替代方案，支持消费级硬件的本地/私有部署推理，兼容多种模型家族和后端，且可处理标准格式（如 GGUF）。
简而言之：
本地化、可替代 OpenAI 的 REST API。数据由您完全掌控。
无需 GPU，支持本地/设备端推理（离线运行）。
部分支持 GPU/NPU 加速的 llama.cpp 兼容 LLM。另见构建章节。
模型推理管道/后端无关！可通过 Gallery WebUI 或 CLI 安装推理后端。
支持的任务类型：
文本生成（支持 llama.cpp、transformers、vllm、exllama2、gpt4all.cpp 等）
文本转音频：
声音/音乐生成（transformers-musicgen）
语音生成（whisper、bark、piper、bark.cpp）
语音转文本（如语音识别，支持 whisper.cpp 等）
图像生成（使用 diffusers/stable-diffusion.cpp，支持文生图、图生图等）
文本嵌入（支持 sentencetransformers、transformers）
文本重排序（rerankers、sentencetransformers）
首次加载后，模型将常驻内存，实现更快推理
分布式推理（联邦与 P2P 模式）
补充说明：
性能/吞吐量因所选推理管道而异，建议使用基于 C/C++ 的管道（如 llama.cpp）以获得更快速度与更好性能。请查阅 LocalAI 文档获取最新信息。
🔄 替代方案
30 个选择
Warden
Warden 是一款极简、简洁而美观的 macOS AI 聊天应用，支持大多数 AI 服务提供商：ChatGPT、Anthropic（Claude）、xAI（Grok）、Google Gemini、Perplexity、Groq、通过 Ollama 的本地 LLM，OpenRouter，以及几乎任何兼容 OpenAI 的 API。
由AI时代推出的AI聊天机器人，提供多种模型，如Liberty，无审查且无偏见。其友好的界面可轻松在不同模型间切换，支持浏览器或桌面使用，无需注册，无需技术知识即可使用。
GeminiDesk
软件
GeminiDesk 不仅是 Google Gemini 的封装工具，更是一个功能丰富的控制中心，其众多功能会让你不禁感叹：过去竟没有它们是如何度过的。
Paperclip by Firecube
软件
由FireCube开发的Paperclip（曾用名Clippy by FireCube）将著名的Clippit助手以大型语言模型AI驱动的形式带回您的桌面，可供聊天使用。该应用完全免费且开源。
Pi - Personal AI
Pi 是一种新型人工智能，它不仅聪明，还具备良好的情商。我们把 Pi 视作一位数字伙伴，无论你何时想学习新知识，需要倾诉一天中棘手的时刻，或只是想找一个充满好奇的伙伴消磨时光……
Vate.ai
软件
如果你在寻找一款经济实惠且易于使用的 ChatGPT 替代品，一定要试试 Vate.ai。这个网站旨在提供与 ChatGPT 类似的体验，让你能够与人工智能聊天机器人进行自然对话。Vate.