Mellum

Mellum-4b-base 是 JetBrains 首个专为代码相关任务优化的开源大语言模型（LLM）。 该模型在超过 4 万亿个标记上训练，上下文窗口为 8192 个标记，涵盖多种编程语言，专门针对代码补全任务进行优化。模型采用 LLaMA 风格架构，参数量为 40 亿，适用于云端推理（例如通过 vLLM）和本地部署（例如使用 llama.cpp 或 Ollama）。 Mellum 使用自动混合精度（AMP）技术，以 bf16 精度进行训练。上传至 Hugging Face 的版本保留了 bf16 格式，供公众使用。 该模型专为集成到专业开发工具中而设计，如 IDE 中的智能代码建议、AI 驱动的编码助手，以及代码理解与生成的研究，同时也适用于教育场景和微调实验。 本次发布包含基础模型及 Python SFT 模型，其他语言的模型将陆续发布。请注意，基础模型未经过下游任务的预微调，但完全支持监督微调（SFT）和强化学习（RL），可适配特定应用场景。