MLC LLM
MLC LLM
软件描述
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的使命是让每个人都能在各类平台上原生地开发、优化和部署AI模型。
官方网站
访问软件的官方网站了解更多信息
llm.mlc.ai
什么是 MLC LLM?
MLC LLM 是一个用于大语言模型的机器学习编译器及高性能部署引擎。该项目的目标是让每个人都能在各类平台上原生地开发、优化和部署 AI 模型。
由于模型在本地运行，因此仅适用于具备足够 VRAM 的设备，具体取决于所使用的模型。
MLC LLM 可将任意语言模型原生部署到多种硬件后端和原生应用中。它支持直接运行从互联网下载的开源语言模型，每个模型均遵循其各自的许可协议。
MLC LLM 还可在网页浏览器中使用，通过硬件加速将语言模型推理直接带入浏览器。所有操作均在浏览器内完成，无需服务器支持，并利用 WebGPU 加速。立即在 https://chat.webllm.ai/ 中体验浏览器内的聊天功能。
🔄 替代方案
33 个选择
GPT4ALL
一个生态系统，包含大量基于清洁助手数据（包括代码、故事和对话）训练的开源聊天机器人。
ChatGPT
AI语言模型，非常适合生成各种风格的互动式类人文本。基于支持实时自然语言生成的架构，凭借广泛训练数据，适用于对流畅、相关输出有要求的多样化应用场景。
Jan.ai
Jan 是一个开源的 ChatGPT 替代品，可在您的计算机上完全离线运行。
Google Gemini
AI助手提供写作、规划、学习支持，可根据文本生成图像，并实现文本转语音。采用大型语言模型，跨设备同步，无需编程技能。支持深色模式，无广告体验。
Microsoft Copilot
Microsoft Copilot（此前称为Bing Chat）是微软必应推出的一项新聊天机器人功能，旨在通过人工智能技术彻底改变搜索引擎的体验。
Claude
Claude 是基于 Anthropic 在训练有益、诚实且无害的 AI 系统方面的研究成果而开发的下一代人工智能助手。通过开发者控制台中的聊天界面和 API 可以访问 Claude，它能够完成多种对话和文本处理任务……
Poe
Poe 使您能够提出问题、获得即时回答，并与人工智能进行多轮对话。包含来自 Anthropic 的 Claude 及多种其他机器人。
Secret Llama
完全私有的LLM聊天机器人，仅需浏览器即可运行，无需服务器支持。支持Mistral和LLama 3。
