功能

在本地机器上运行大语言模型（LLMs）
支持 Metal、CUDA 和 Vulkan
提供预编译二进制文件，若无法使用，则可降级为无需 node-gyp 或 Python 的源码编译
自动适配您的硬件，无需任何配置
提供您在项目中使用大语言模型所需的一切完整工具套件
通过命令行界面（CLI）与模型进行对话，无需编写任何代码
始终与最新的 llama.cpp 保持同步，通过单条 CLI 命令即可下载并编译最新版本
强制模型生成可解析的输出格式，例如 JSON，甚至可强制其遵循特定的 JSON 模式
为模型提供可调用的函数，以便按需获取信息或执行操作
支持嵌入功能
提供卓越的开发者体验，完整支持 TypeScript，并附有详尽的文档
更多功能