MLC LLM 是一种机器学习编译器和大语言模型的高性能部署引擎。该项目的使命是让每个人都能在自己的平台上原生开发、优化和部署人工智能模型。
由于模型在本地运行，因此其适用性取决于设备的 VRAM 是否充足，以及所使用的具体模型。
MLC LLM 可将任何语言模型原生部署到多种硬件后端和原生应用程序上，支持你在浏览器中运行从互联网下载的开源语言模型。每个模型均需遵守其相应的许可协议。
MLC LLM 还可应用于网页浏览器，将语言模型推理能力直接集成到浏览器中，并通过硬件加速实现。所有操作均在浏览器内完成，无需服务器支持，且通过 WebGPU 实现加速。你可访问 https://chat.webllm.ai/ 在浏览器中进行对话。