MinimalGPT

尽管开源生成模型（如LLaMa、GPT4all、FreedomGPT等）已为在普通CPU上本地启动GPT铺平了道路，但它们距离“极简”型微型GPT模型的理念仍相去甚远。GPT4可接受最多32k个标记的输入以生成下一个可能的输出标记，其训练耗时数月，使用超算处理能力处理超过600GB的数据集。MinimalGPT则提出了完全相反的问题：训练一个GPT模型所需资源最少是多少？借助MinimalGPT框架，创建GPT模型（包括向量化）、保存数据以及从备份数据中加载以进行再训练/微调或推理，均只需一条命令行即可完成。