node-llama-cpp

特性

在本地机器上运行大语言模型 支持 Metal、CUDA 和 Vulkan 提供预编译二进制文件，无需 node-gyp 或 Python 即可回退至源码构建 自动适配您的硬件，无需任何配置 提供使用大语言模型所需的一切完整工具集 通过命令行与模型对话，无需编写任何代码 与最新的 llama.cpp 保持同步。仅用一条 CLI 命令即可下载并编译最新版本 强制模型以可解析格式（如 JSON）生成输出，甚至可强制遵循特定 JSON 模式 向模型提供可按需调用的函数，用于获取信息或执行操作 支持嵌入功能 拥有出色的开发体验，全面支持 TypeScript，并配有完整的文档 更多功能