Text generation web UI
Text generation web UI
软件描述
用于大型语言模型的 Gradio 网页界面。支持 Transformers、GPTQ、llama.cpp（GGUF）和 Llama 模型。
官方网站
访问软件的官方网站了解更多信息
github.com
什么是 Text generation web UI?
用于大型语言模型的 Gradio 网页界面。
其目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。
功能特点
- 三种界面模式：默认模式（两列布局）、笔记本模式和聊天模式
- 多种模型后端支持：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers
- 提供下拉菜单，可快速切换不同模型
- LoRA：支持动态加载和卸载 LoRA 模型，可使用 QLoRA 训练新的 LoRA 模型
- 聊天模式下的精确指令模板，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM 等多种模板
- 通过 transformers 库支持 4 位、8 位及 CPU 推理
- 可使用 llama.cpp 模型配合 transformers 的采样器（llamacpp_HF 加载器）
- 多模态管道支持，包括 LLaVA 和 MiniGPT-4
- 扩展框架
- 支持自定义聊天角色
- 高效的文本流式输出
- 支持 Markdown 输出并渲染 LaTeX 公式，例如可与 GALACTICA 配合使用
- 提供 API 接口，包括 WebSocket 流式传输端点（详见示例）
🔄 替代方案
62 个选择
ANIE
使用基于 SwiftUI 的客户端，在 macOS 上体验 AI 聊天功能，该客户端采用 Swift、Core ML 和 BERT 技术，实现原生性能。享受以隐私为核心、直观简洁的聊天体验，拥有智能 AI 响应、个人资料自定义功能，并可通过可编辑的聊天记录和消息回退实现全面控制。
Kindllm
专为 Kindle 优化的无干扰大语言模型聊天网页应用。是您书籍的完美伴侣。由 Mistral AI 的 Mixtral 驱动。主要在 Kindle Paperwhite 上进行测试。
BlacktoothAI 是一个集文本和图像生成于一体的全方位人工智能平台。用户只需一个订阅即可访问包括 ChatGPT、Claude、Gemini 等在内的多种人工智能工具。平台功能包括先进的仪表盘、模板和聊天机器人的库，以及……
Stable Assistant 是由 Stability AI 开发的友好聊天机器人，集成了我们最新的文本和图像生成技术，包括 Stable Diffusion 3 Ultra、Stable Video、Stable Audio、Stable Image Services 和 Stable LM 2 12B。
你需要在本地主机上运行 Ollama，并加载一个模型。Ollama 启动后，模型可以从 Follamac 或命令行中拉取。通过命令行输入类似以下内容：Ollama pull llama3。如果你希望从 Follamac 中拉取模型，可以在“模型名称到...”处输入 llama3。
SlickGPT
软件
SlickGPT 是一个专为 OpenAI API 设计的新型轻量级网页客户端，重点集成了 GPT-4。该工具完全基于 Vue.js 构建，提供现代化、类似 Slack 的界面，用于与人工智能进行对话。