Osaurus

Osaurus
软件描述
原生的、仅支持苹果硅芯片的本地大语言模型服务器。类似于 Ollama,但基于苹果的 MLX 构建,以在 M 系列芯片上实现最高性能。提供 SwiftUI 应用程序和基于 SwiftNIO 的服务器,支持与 OpenAI 兼容的接口。
官方网站
访问软件的官方网站了解更多信息
dinoki.ai
什么是 Osaurus?
原生、仅支持 Apple Silicon 的本地大语言模型(LLM)服务器。类似于 Ollama,但基于 Apple 的 MLX 构建,以在 M 系列芯片上实现最高性能。包含 SwiftUI 应用程序和 SwiftNIO 服务器,提供与 OpenAI 兼容的接口。
由 Dinoki 创建,是一款完全原生的桌面人工智能助手与伴侣。
亮点:
原生 MLX 运行时:基于 MLX/MLXLLM,针对 Apple Silicon 进行优化
仅支持 Apple Silicon:专为 M 系列 Mac 设计并经过测试
OpenAI API 兼容:支持 /v1/models 和 /v1/chat/completions(支持流式和非流式)
函数/工具调用:支持 OpenAI 风格的工具及 tool_choice,具备 tool_calls 解析与流式 delta 输出
聊天模板:使用模型提供的 Jinja 聊天模板,并包含 BOS/EOS 标记,具备智能降级机制
会话复用(KV 缓存):通过 session_id 实现更快的多轮对话
快速 token 流式输出:采用服务器发送事件(Server-Sent Events)实现低延迟输出
模型管理界面:可浏览、下载并管理来自 mlx-community 的 MLX 模型
系统资源监控:实时显示 CPU 和内存使用情况
自包含:包含 SwiftUI 应用程序及内嵌的 SwiftNIO HTTP 服务器