KoboldCpp 是一款适用于 GGML 模型的易于使用的 AI 文本生成软件。它是由 Concedo 发布的一个独立的可分发版本，基于 llama.cpp 构建，增加了多功能的 Kobold API 端点、额外的格式支持、向后兼容性以及一个美观的用户界面……

提供 15 个替代方案

LlamaFile 允许你通过一个文件分发和运行大语言模型，提供与 OpenAI 兼容的 API 以及 KoboldAI API。