SMOL-GPT
SMOL-GPT
软件
软件描述
一个用于从零开始训练小型语言模型的极简 PyTorch 实现，专为教学和简洁性设计，支持高效训练、闪存注意力和现代采样技术。
官方网站
访问软件的官方网站了解更多信息
官方认证
github.com
安全链接HTTPS
什么是 SMOL-GPT?
一个从零开始训练小型大语言模型的极简 PyTorch 实现，专为教学和简洁性设计，支持高效训练、闪存注意力（flash attention）及现代采样技术。
特性：
极简代码库：纯 PyTorch 实现，无抽象开销
现代架构：GPT 模型包含：
- 闪存注意力（可用时）
- RMSNorm 和 SwiGLU
- 高效的 top-k/p/min-p 采样
- 旋转位置编码 - RoPE（可选）
训练功能：
- 混合精度（bfloat16/float16）
- 梯度累积
- 带预热的学习率衰减
- 权重衰减与梯度裁剪
数据集支持：内置 TinyStories 数据集处理
自定义分词器：集成 SentencePiece 分词器训练
主要功能
🔄 替代方案
8 个选择
Plexe AI
Plexe AI 使您能够使用简单的英文命令创建、训练和部署机器学习模型——无需编程。
Unsloth
AI与大模型的快速微调。使用Unsloth，速度提升30倍。
LlamaGym
“智能体”起源于强化学习，其通过与环境交互并接收奖励信号来学习。然而，当前基于大语言模型的智能体并非通过强化学习实现在线（即实时持续）学习。
xTuring
构建、定制并控制您自己的大语言模型。从数据预处理到微调，xTuring 提供了简便的方法来个性化开源大语言模型。
FinetuneDB
几分钟内即可用您的数据训练AI模型，而非数周，且成本更低、性能更优。支持与开源及专有基础模型集成。
Axolotl AI
Axolotl 是一款旨在简化各种 AI 模型微调的工具，支持多种配置和架构。
Liner.ai
★1
Liner 是一个免费工具，可帮助您轻松训练机器学习模型。它接收您的训练数据，并提供一个易于集成的机器学习模型。
