Osaurus

软件描述

原生仅支持 Apple Silicon 的本地 LLM 服务器。类似于 Ollama,但基于 Apple 的 MLX 构建,以在 M 系列芯片上实现最佳性能。使用 SwiftUI 应用和 SwiftNIO 服务器,提供兼容 OpenAI 的接口。

官方网站

访问软件的官方网站了解更多信息

官方认证

dinoki.ai

安全链接HTTPS

什么是 Osaurus?

原生、仅支持 Apple Silicon 的本地 LLM 服务器。类似于 Ollama,但基于 Apple 的 MLX 构建,以在 M 系列芯片上实现最佳性能。采用 SwiftUI 应用 + SwiftNIO 服务器,提供兼容 OpenAI 的接口。 由 Dinoki 开发,是一款完全原生的桌面 AI 助手与伴侣。 亮点:

原生 MLX 运行时:利用 MLX/MLXLLM 针对 Apple Silicon 优化 仅支持 Apple Silicon:专为 M 系列 Mac 设计并测试 兼容 OpenAI API:支持 /v1/models 和 /v1/chat/completions(流式与非流式) 函数/工具调用:支持 OpenAI 风格的工具及 tool_choice,具备 tool_calls 解析与流式增量输出 聊天模板:使用模型提供的 Jinja 聊天模板,包含 BOS/EOS,并具备智能回退机制 会话复用(KV 缓存):通过 session_id 实现更快的多轮对话 快速令牌流式传输:采用 Server-Sent Events 实现低延迟输出 模型管理界面:可浏览、下载并管理来自 mlx-community 的 MLX 模型 系统资源监控:实时显示 CPU 与内存使用情况 自包含:集成 SwiftNIO HTTP 服务器的 SwiftUI 应用

支持平台

下载与相关链接

安全提示
⚠️

安全提醒

点击下方链接将跳转到第三方网站,请确保来源安全,建议优先从官方网站下载。