Axolotl AI

Axolotl 是一款旨在简化各类 AI 模型微调的工具，支持多种配置和架构。

特性：

• 训练多种 Hugging Face 模型，如 llama、pythia、falcon、mpt
• 支持全量微调、lora、qlora、relora 和 gptq
• 通过简单的 yaml 文件或 CLI 覆盖自定义配置
• 支持加载不同数据集格式，使用自定义格式，或导入自有分词数据集
• 集成 xformer、flash attention、liger kernel、rope 缩放和多打包功能
• 支持单 GPU 或通过 FSDP、Deepspeed 多 GPU 运行
• 可轻松通过 Docker 在本地或云端运行
• 结果与可选检查点日志记录至 wandb 或 mlflow
• 更多功能！