Text generation web UI
Text generation web UI
★5
软件描述
用于大型语言模型的 Gradio 网页界面。支持 Transformers、GPTQ、llama.cpp（GGUF）和 Llama 模型。
官方网站
访问软件的官方网站了解更多信息
github.com
安全链接HTTPS
什么是 Text generation web UI?
用于大型语言模型的 Gradio 网页界面。
其目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。
功能特点
- 三种界面模式：默认模式（两列布局）、笔记本模式和聊天模式
- 多种模型后端支持：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers
- 提供下拉菜单，可快速切换不同模型
- LoRA：支持动态加载和卸载 LoRA 模型，可使用 QLoRA 训练新的 LoRA 模型
- 聊天模式下的精确指令模板，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM 等多种模板
- 通过 transformers 库支持 4 位、8 位及 CPU 推理
- 可使用 llama.cpp 模型配合 transformers 的采样器（llamacpp_HF 加载器）
- 多模态管道支持，包括 LLaVA 和 MiniGPT-4
- 扩展框架
- 支持自定义聊天角色
- 高效的文本流式输出
- 支持 Markdown 输出并渲染 LaTeX 公式，例如可与 GALACTICA 配合使用
- 提供 API 接口，包括 WebSocket 流式传输端点（详见示例）
🔄 替代方案
62 个选择
Apollo AI
支持私有设备上AI模型聊天的可定制界面，支持开源和闭源LLM连接，支持OpenRouter，支持自定义后端，实现无需依赖单一提供商的语言模型统一访问，确保隐私性和灵活性。
免费 • 专有
查看详情
一款高级 Slack 机器人，集成了 OpenAI 的 ChatGPT-4 和 DALL-E-3，支持交互式人工智能对话和图像生成。
免费 • 开源
查看详情
以光速工作。无论你在 Mac 的何处，都能立即获得 AI 驱动的智能完成功能。从邮件到文档，从表单到客户关系管理（CRM）系统——一切都能更快完成。
免费增值 • 专有
查看详情
RustGPT 是我最近一次尝试模仿 OpenAI 的 ChatGPT 能力的实验。它是这一系列克隆项目中的第四代，每一代均采用不同的技术栈，以评估其在构建类似 ChatGPT 应用方面的功能表现。
免费 • 开源
查看详情
KoboldCpp
KoboldCpp 是一款适用于 GGML 模型的易用型 AI 文本生成软件。它由 Concedo 提供，基于 llama.cpp 开发，增加了功能丰富的 Kobold API 接口、额外的格式支持、向后兼容性，以及一个精美的用户界面……
免费 • 开源
查看详情