MLC LLM

MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的目标是让每个人都能在各类平台上原生地开发、优化和部署 AI 模型。
由于模型在本地运行，因此仅适用于具备足够 VRAM 的设备，具体取决于所使用的模型。
MLC LLM 可将任意语言模型原生部署到多种硬件后端和原生应用中。它支持直接运行从互联网下载的开源语言模型，每个模型均遵循其各自的许可协议。
MLC LLM 还可在网页浏览器中使用，通过硬件加速将语言模型推理直接带入浏览器。所有操作均在浏览器内完成，无需服务器支持，并利用 WebGPU 加速。立即在 https://chat.webllm.ai/ 中体验浏览器内的聊天功能。