Text generation web UI
Text generation web UI
软件描述
用于大型语言模型的 Gradio 网页界面。支持 transformers、GPTQ、llama.cpp (GGUF)、Llama 模型。
官方网站
访问软件的官方网站了解更多信息
github.com
什么是 Text generation web UI?
一个用于大型语言模型的 Gradio 网页界面。 其目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。 特性
3 种界面模式：默认（两栏）、笔记本、聊天 多种模型后端：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers 下拉菜单，快速切换不同模型 LoRA：实时加载和卸载 LoRA，使用 QLoRA 训练新的 LoRA 精确的对话指令模板，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM 等多种 通过 transformers 库实现 4 位、8 位及 CPU 推理 使用 llama.cpp 模型配合 transformers 采样器（llamacpp_HF 加载器） 多模态流程，包括 LLaVA 和 MiniGPT-4 扩展框架 自定义聊天角色 高效的文本流式输出 支持 LaTeX 渲染的 Markdown 输出，可用于 GALACTICA 等场景 API 支持，包含 WebSocket 流式传输端点（见示例）
🔄 替代方案
67 个选择
Backyard AI
在您的电脑上运行开源大模型。您可以下载并为您的模型制作自定义角色。 离线使用。新名称为“后院”，但实际相同。
Apollo AI
可自定义界面，支持私有本地AI模型对话，连接开源与闭源大语言模型，兼容OpenRouter，支持自定义后端，统一访问语言模型且不依赖单一提供商，保障隐私与灵活性。
OfflineLLM
OfflineLLM 无限、私密、离线、全天候免费访问人工智能。通过此AI聊天机器人，应用于日常生活的方方面面，提升您的生活效率。
RustGPT是我最近一次尝试，旨在复制OpenAI的ChatGPT功能。它是该系列克隆项目的第四次迭代，每次均采用不同的技术栈构建，以评估其在创建类似ChatGPT应用方面的表现。
Reins
为LLM研究人员和爱好者提供无缝控制自托管模型的工具。远程连接、自定义提示、管理对话、微调配置，尽在一款直观的应用程序中。
