MLC LLM
MLC LLM
软件描述
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的使命是让每个人都能在各类平台上原生地开发、优化和部署AI模型。
官方网站
访问软件的官方网站了解更多信息
llm.mlc.ai
什么是 MLC LLM?
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的目标是让每个人都能在各类平台上原生地开发、优化和部署 AI 模型。
由于模型在本地运行，因此仅适用于具备足够 VRAM 的设备，具体取决于所使用的模型。
MLC LLM 可将任意语言模型原生部署到多种硬件后端和原生应用中。它支持直接运行从互联网下载的开源语言模型，每个模型均遵循其各自的许可协议。
MLC LLM 还可在网页浏览器中使用，通过硬件加速将语言模型推理直接带入浏览器。所有操作均在浏览器内完成，无需服务器支持，并利用 WebGPU 加速。立即在 https://chat.webllm.ai/ 中体验浏览器内的聊天功能。
🔄 替代方案
33 个选择
OfflineLLM
OfflineLLM 无限、私密、离线、全天候免费访问人工智能。通过此AI聊天机器人，应用于日常生活的方方面面，提升您的生活效率。
Nano-GPT
NanoGPT 正通过其核心使命改变人工智能的获取方式：让全球每个人都能使用最先进的模型，如 ChatGPT、Claude 等。我们相信，前沿的人工智能应当易于获取，而非昂贵或复杂。
Private LLM
通过私有大语言模型（Private LLM）体验指尖上的AI力量，这款AI聊天机器人可在你的iPhone、iPad和Mac上离线运行。
ANIE
在macOS上体验AI聊天，使用SwiftUI设计的客户端，结合Swift、CoreML和BERT实现原生性能。享受注重隐私、直观便捷的智能AI对话，支持个性化配置文件，并可通过可编辑的聊天记录和消息回溯功能完全掌控聊天过程。
Enclave AI
我们的应用将强大的AI模型直接带到您的设备上，确保您的个人数据和对话内容始终由您自己保管，不会与第三方共享。所有处理均在本地完成，无任何数据追踪，无需互联网连接。您的创造力无限。
nanochat
完整的LLM聊天机器人实现，提供分词、预训练、微调、评估、推理及简易Web界面。可在单个8xH100节点上运行，具备可修改的代码库、轻量依赖设计，并通过脚本自动化完整工作流。
Reins
为LLM研究人员和爱好者提供无缝控制自托管模型的工具。远程连接、自定义提示、管理对话、微调配置，尽在一款直观的应用程序中。
