KoboldCpp 是一款适用于 GGML 模型的易于使用的 AI 文本生成软件。它是由 Concedo 发布的一个独立的可分发版本，基于 llama.cpp 构建，增加了多功能的 Kobold API 端点、额外的格式支持、向后兼容性以及一个美观的用户界面……

提供 15 个替代方案

从任何网络或设备上托管网页和TCP应用程序。访问数据库、自定义网页应用、SSH、媒体服务器等。无需VPN或管理防火墙，即可连接IP视频摄像头、自动化传感器、销售点系统、树莓派或其他设备。

提供 22 个替代方案

一个用 Rust 编写的轻量级、稳定且高性能的反向代理，用于 NAT 穿透，可替代 frp 和 ngrok。资源消耗更低，可在路由器等嵌入式设备上运行。

提供 21 个替代方案

LlamaFile 允许你通过一个文件分发和运行大语言模型，提供与 OpenAI 兼容的 API 以及 KoboldAI API。

一个现代而简单的 Rust TCP 隧道，可将本地端口暴露给远程服务器，绕过标准 NAT 连接防火墙。仅此而已：不多，也不少。