Text generation web UI
Text generation web UI
★5
软件描述
用于大型语言模型的 Gradio 网页界面。支持 Transformers、GPTQ、llama.cpp（GGUF）和 Llama 模型。
官方网站
访问软件的官方网站了解更多信息
github.com
安全链接HTTPS
什么是 Text generation web UI?
用于大型语言模型的 Gradio 网页界面。
其目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。
功能特点
- 三种界面模式：默认模式（两列布局）、笔记本模式和聊天模式
- 多种模型后端支持：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers
- 提供下拉菜单，可快速切换不同模型
- LoRA：支持动态加载和卸载 LoRA 模型，可使用 QLoRA 训练新的 LoRA 模型
- 聊天模式下的精确指令模板，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM 等多种模板
- 通过 transformers 库支持 4 位、8 位及 CPU 推理
- 可使用 llama.cpp 模型配合 transformers 的采样器（llamacpp_HF 加载器）
- 多模态管道支持，包括 LLaVA 和 MiniGPT-4
- 扩展框架
- 支持自定义聊天角色
- 高效的文本流式输出
- 支持 Markdown 输出并渲染 LaTeX 公式，例如可与 GALACTICA 配合使用
- 提供 API 接口，包括 WebSocket 流式传输端点（详见示例）
🔄 替代方案
62 个选择
Witsy
软件
Witsy 是一个“自带密钥”（BYOK）的 AI 应用：这意味着你需要拥有想要使用的大型语言模型（LLM）提供商的 API 密钥。或者，你可以免费使用 Ollama 在本地机器上运行模型，并在 Witsy 中使用这些模型。
免费 • 开源
查看详情
LoLLMS Web UI
软件
该项目旨在提供一个用户友好的界面，以便访问和使用各种大语言模型，以应对广泛的任务。无论您需要帮助进行写作、编程、整理数据、生成图像，还是寻求问题的答案，LoLLMS WebUI 都能为您提供全面支持。
免费 • 开源
查看详情
Reflection 70B
Reflection 70B 是基于强大 Llama 70B 架构构建的先进开源大语言模型（LLM）。与 GPT-4 等其他人工智能模型相比，真正使 Reflection 70B 独具特色的是其开创性的自我纠错机制。
免费 • 专有
查看详情
TwinTwit: Ai Browser
★5
TwinTwit 是一款集成多种人工智能平台（如 ChatGPT、Gemini AI 和 Perplexity AI）的多AI浏览器，您只需使用一个搜索栏，即可快速比较不同平台的回答。
免费 • 专有
查看详情
