用于大型语言模型的 Gradio 网页界面。
其目标是成为文本生成领域的 AUTOMATIC1111/stable-diffusion-webui。
功能特点

• 三种界面模式：默认模式（两列布局）、笔记本模式和聊天模式
• 多种模型后端支持：transformers、llama.cpp、ExLlama、ExLlamaV2、AutoGPTQ、GPTQ-for-LLaMa、CTransformers
• 提供下拉菜单，可快速切换不同模型
• LoRA：支持动态加载和卸载 LoRA 模型，可使用 QLoRA 训练新的 LoRA 模型
• 聊天模式下的精确指令模板，包括 Llama-2-chat、Alpaca、Vicuna、WizardLM、StableLM 等多种模板
• 通过 transformers 库支持 4 位、8 位及 CPU 推理
• 可使用 llama.cpp 模型配合 transformers 的采样器（llamacpp_HF 加载器）
• 多模态管道支持，包括 LLaVA 和 MiniGPT-4
• 扩展框架
• 支持自定义聊天角色
• 高效的文本流式输出
• 支持 Markdown 输出并渲染 LaTeX 公式，例如可与 GALACTICA 配合使用
• 提供 API 接口，包括 WebSocket 流式传输端点（详见示例）