GPT-Code-Clippy（GPT-CC）是一项社区项目，旨在创建一个开源版本的 GitHub Copilot，即基于 GPT-3 的 AI 伙伴编程工具 GPT-Codex。GPT-CC 在我们从 GitHub 上公开获取的代码数据集 GPT Code Clippy 上进行微调。该项目旨在让研究人员能够方便地研究在代码上训练的大型深度学习模型，以更好地理解其能力与局限性。GPT-CC 采用 GPT-Neo 模型作为基础语言模型，该模型已在 Pile 数据集上预训练，我们使用因果语言建模目标来训练该模型。