MLC LLM
MLC LLM
软件描述
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的使命是让每个人都能在各类平台上原生地开发、优化和部署AI模型。
官方网站
访问软件的官方网站了解更多信息
llm.mlc.ai
什么是 MLC LLM?
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的目标是让每个人都能在各类平台上原生地开发、优化和部署 AI 模型。
由于模型在本地运行，因此仅适用于具备足够 VRAM 的设备，具体取决于所使用的模型。
MLC LLM 可将任意语言模型原生部署到多种硬件后端和原生应用中。它支持直接运行从互联网下载的开源语言模型，每个模型均遵循其各自的许可协议。
MLC LLM 还可在网页浏览器中使用，通过硬件加速将语言模型推理直接带入浏览器。所有操作均在浏览器内完成，无需服务器支持，并利用 WebGPU 加速。立即在 https://chat.webllm.ai/ 中体验浏览器内的聊天功能。
🔄 替代方案
33 个选择
AnythingLLM
适用于任何大语言模型和向量数据库的多用户ChatGPT。一款注重隐私的应用，支持无限文档、消息和存储。现已推出桌面应用程序！
LlamaGPT
LlamaGPT 是一款聊天机器人，提供类似 ChatGPT 的体验，且数据不会离开您的设备。
fullmoon
使用私有大模型最简单的方式：无网络时可完全离线且保证隐私。针对Apple芯片优化，在设备上运行模型。
Private GPT
无需互联网连接即可向您的文档提出问题，利用大语言模型的强大功能。100% 隐私，数据在任何时刻都不会离开您的执行环境。您可以在无互联网连接的情况下导入文档并提出问题！
Together Chat 是一款下一代消费者应用程序，可让您无缝地与当前最受欢迎的开源模型进行交互，包括免费访问位于北美安全托管的 DeepSeek R1。
Google AI Edge Gallery
一个展示设备端机器学习/生成式AI应用场景的画廊，允许用户本地尝试和使用模型。
Raycast AI Lite
Raycast AI 将领先模型与强大扩展功能结合，直接集成于您的操作系统中。免费试用 Raycast AI 聊天精简版。
Cherry Studio
Cherry Studio 是一个桌面客户端，支持多个大模型提供商，适用于 Windows、Mac 和 Linux。
