llamafile

llamafile 允许你通过单个文件分发和运行大语言模型，提供兼容 OpenAI 的 API 以及 KoboldAI API。
我们的目标是让 AI 开发者实现“一次构建，随处运行”的梦想。我们通过将 llama.cpp 与 Cosmopolitan Libc 合并为一个框架，使你能够将 LLM 应用打包为单个可执行文件，在大多数个人电脑和服务器上本地运行，并具备以下特性：
首先，你的 llamafile 可在多种 CPU 微架构上运行。我们在 llama.cpp 中加入了运行时分派机制，使新 Intel 系统能使用现代 CPU 特性，同时不牺牲对旧计算机的支持。
其次，你的 llamafile 可在多种 CPU 架构上运行。我们通过 shell 脚本合并 AMD64 和 ARM64 构建版本，自动启动合适的版本。我们的文件格式兼容 WIN32 和大多数 UNIX shell，也能够轻松转换为任一平台原生格式（由你或用户在需要时完成）。
第三，你的 llamafile 可在六种操作系统上运行（macOS、Windows、Linux、FreeBSD、OpenBSD 和 NetBSD）。你只需使用类 Linux 工具链构建一次代码。我们提供的基于 GCC 的编译器本身就是一个真正可移植的可执行文件，因此你可以从任意偏好的开发系统中构建适用于全部六种操作系统的软件。
最后，你的 LLM 权重可以嵌入到 llamafile 内部。我们为 GGML 库添加了 PKZIP 支持，使未压缩权重可直接映射到内存中，类似自解压归档文件。这使得在线分发的量化权重可前置兼容版的 llama.cpp 软件，从而确保其原始行为可无限期复现。