Osaurus

软件描述

原生的、仅支持苹果硅芯片的本地大语言模型服务器。类似于 Ollama,但基于苹果的 MLX 构建,以在 M 系列芯片上实现最高性能。提供 SwiftUI 应用程序和基于 SwiftNIO 的服务器,支持与 OpenAI 兼容的接口。

官方网站

访问软件的官方网站了解更多信息

官方认证

dinoki.ai

安全链接HTTPS

什么是 Osaurus?

原生、仅支持 Apple Silicon 的本地大语言模型(LLM)服务器。类似于 Ollama,但基于 Apple 的 MLX 构建,以在 M 系列芯片上实现最高性能。包含 SwiftUI 应用程序和 SwiftNIO 服务器,提供与 OpenAI 兼容的接口。
由 Dinoki 创建,是一款完全原生的桌面人工智能助手与伴侣。
亮点:

原生 MLX 运行时:基于 MLX/MLXLLM,针对 Apple Silicon 进行优化
仅支持 Apple Silicon:专为 M 系列 Mac 设计并经过测试
OpenAI API 兼容:支持 /v1/models 和 /v1/chat/completions(支持流式和非流式)
函数/工具调用:支持 OpenAI 风格的工具及 tool_choice,具备 tool_calls 解析与流式 delta 输出
聊天模板:使用模型提供的 Jinja 聊天模板,并包含 BOS/EOS 标记,具备智能降级机制
会话复用(KV 缓存):通过 session_id 实现更快的多轮对话
快速 token 流式输出:采用服务器发送事件(Server-Sent Events)实现低延迟输出
模型管理界面:可浏览、下载并管理来自 mlx-community 的 MLX 模型
系统资源监控:实时显示 CPU 和内存使用情况
自包含:包含 SwiftUI 应用程序及内嵌的 SwiftNIO HTTP 服务器

支持平台

下载与相关链接

安全提示
⚠️

安全提醒

点击下方链接将跳转到第三方网站,请确保来源安全,建议优先从官方网站下载。