Text generation web UI
Text generation web UI
软件描述
用于大型语言模型的 Gradio 网页界面。支持 transformers、GPTQ、llama.cpp (GGUF)、Llama 模型。
官方网站
访问软件的官方网站了解更多信息
github.com
什么是 Text generation web UI?
一个用于大型语言模型的 Gradio 网页界面。 其目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。 特性
3 种界面模式：默认（两栏）、笔记本、聊天 多种模型后端：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers 下拉菜单，快速切换不同模型 LoRA：实时加载和卸载 LoRA，使用 QLoRA 训练新的 LoRA 精确的对话指令模板，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM 等多种 通过 transformers 库实现 4 位、8 位及 CPU 推理 使用 llama.cpp 模型配合 transformers 采样器（llamacpp_HF 加载器） 多模态流程，包括 LLaVA 和 MiniGPT-4 扩展框架 自定义聊天角色 高效的文本流式输出 支持 LaTeX 渲染的 Markdown 输出，可用于 GALACTICA 等场景 API 支持，包含 WebSocket 流式传输端点（见示例）
🔄 替代方案
67 个选择
Yi AI
Yi系列模型是由01.AI从零开始训练的下一代开源大语言模型。
ANIE
在macOS上体验AI聊天，使用SwiftUI设计的客户端，结合Swift、CoreML和BERT实现原生性能。享受注重隐私、直观便捷的智能AI对话，支持个性化配置文件，并可通过可编辑的聊天记录和消息回溯功能完全掌控聊天过程。
Kindllm
无干扰的LLM聊天网页应用，专为Kindle优化，您阅读书籍的最佳伴侣。由Mistral AI的Mixtral提供支持。主要在Kindle Paperwhite上进行测试。
Page Assist - Web UI for Local AI Models
使用您本地运行的AI模型来协助您的网页浏览。
Stable Assistant 是由 Stability AI 开发的一款友好聊天机器人，配备了我们最新的文本和图像生成技术，包括 Stable Diffusion 3 Ultra、Stable Video、Stable Audio、Stable Image Services 和 Stable LM 2 12B。
你需要在本地主机上运行 Ollama 并加载某个模型。Ollama 启动后，可从 Follamac 或命令行拉取模型。在命令行中输入类似以下内容：Ollama pull llama3 若希望从 Follamac 拉取，可在“模型名称”处输入 llama3
KoboldCpp
KoboldCpp 是一款适用于 GGML 模型的易于使用的 AI 文本生成软件。它是由 Concedo 发布的一个独立的可分发版本，基于 llama.cpp 构建，增加了多功能的 Kobold API 端点、额外的格式支持、向后兼容性以及一个美观的用户界面……
nanochat
完整的LLM聊天机器人实现，提供分词、预训练、微调、评估、推理及简易Web界面。可在单个8xH100节点上运行，具备可修改的代码库、轻量依赖设计，并通过脚本自动化完整工作流。
