MLC LLM
MLC LLM
软件描述
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的使命是让每个人都能在各类平台上原生地开发、优化和部署AI模型。
官方网站
访问软件的官方网站了解更多信息
llm.mlc.ai
什么是 MLC LLM?
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的目标是让每个人都能在各类平台上原生地开发、优化和部署 AI 模型。
由于模型在本地运行，因此仅适用于具备足够 VRAM 的设备，具体取决于所使用的模型。
MLC LLM 可将任意语言模型原生部署到多种硬件后端和原生应用中。它支持直接运行从互联网下载的开源语言模型，每个模型均遵循其各自的许可协议。
MLC LLM 还可在网页浏览器中使用，通过硬件加速将语言模型推理直接带入浏览器。所有操作均在浏览器内完成，无需服务器支持，并利用 WebGPU 加速。立即在 https://chat.webllm.ai/ 中体验浏览器内的聊天功能。
🔄 替代方案
33 个选择
Local Chat
本地聊天功能让您可在Mac、iPad和iPhone上运行最新的开源语言模型。下载模型后，即使设备离线也可使用聊天功能。由于无需连接互联网，您的对话完全私密……
WriteFastly AI：汇聚所有AI模型（ChatGPT、Gemini、DeepSeek、Llama、Perplexity、Qwen和Claude），集成于强大的网页及移动应用中。
Msty AI
使用本地和在线AI模型最简单的方式。一键点击，即可与任何AI模型交互。
Patagonia AI
在您的设备上释放AI的力量——100%私密且完全离线。
Alice 是一个使用 Vue.js、Vite 和 Electron 构建的智能桌面 AI 助手应用。具备先进的记忆系统、函数调用、MCP 支持，可选完全本地运行等特性。
Dot LLM
一个独立的开源应用程序，旨在轻松使用本地大语言模型，特别是用于与文档和文件交互，类似于Nvidia的Chat with RTX。
Okara
一款功能多样、注重隐私的AI平台，让您掌控一切。通过单一界面与多种AI模型互动，可在GPT-4o、ChatGPT 5、Claude、Gemini等模型间无缝切换，且不会丢失对话上下文。
Wizey
是否曾面对化验单感到茫然？Wizey让困惑变清晰。上传任何报告，即可获得个性化、有研究支持的通俗易懂解释。了解哪些指标重要，该看哪位医生，以及如何为就诊做准备。私密、即时、简便。
