deepseek v3/r1风靡全网，其底层模型方案和api服务已广泛应用，但价格战和免费竞争也日益激烈。
如何充分利用现有资源，结合专业领域数据进行模型后训练（post-training），以低成本打造高质量的私有模型，从而提升业务竞争力和价值？
拥有近4万GitHub Star的Colossal-AI，现已推出开源大模型后训练工具箱，其核心功能包括：
- DeepSeek V3/R1 671B参数量模型的低成本监督微调（SFT）；
- 完整的强化学习工具链，涵盖PPO、GRPO、DPO、SimPO等算法；
- 无缝兼容DeepSeek系列蒸馏模型及HuggingFace开源模型；
- 支持英伟达GPU、华为昇腾NPU等多种硬件平台；
- 支持混合精度训练、梯度检查点等加速技术，降低训练成本；
- 提供灵活的训练配置接口，支持自定义奖励函数和损失函数；
- 支持多种并行策略，包括数据并行、模型并行、专家并行、ZeRO和Offload等，以适应不同规模的硬件资源。
开源地址：https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530
低成本微调DeepSeek V3/R1 671B参数量模型
DeepSeek V3/R1拥有高达6710亿参数，如何低成本地进行微调？只需几个步骤即可完成：
数据集准备
该工具箱使用JSONL格式的数据集，例如：https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl。每行数据为一个对话列表，格式兼容HuggingFace聊天模板，并支持自定义系统提示。
模型权重准备
为获得最佳微调效果，建议使用BF16格式的权重。如已下载FP8权重，可使用DeepSeek官方脚本进行转换：
- NVIDIA GPU: https://www.php.cn/link/8f4e1425e9f07a29ec859da931ad2f20
- 华为昇腾NPU: https://www.php.cn/link/80d1a6bf869b86745e1ce10ea0b1b878
使用方法
准备好数据集和模型权重后，使用Colossal-AI提供的一键启动脚本：https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py
该脚本与常用的SFT脚本类似，并完全兼容HuggingFace PEFT。启动命令示例：
<code class="bash">colossalai run --hostfile path-to-host-file --nprocpernode 8 lorafinetune.py --pretrained path-to-DeepSeek-R1-bf16 --dataset path-to-dataset.jsonl --plugin moe --lr 2e-5 --maxlength 256 -g --ep 8 --pp 3 --batchsize 24 --lorarank 8 --loraalpha 16 --numepochs 2 --warmupsteps 8 --tensorboarddir logs --save_dir DeepSeek-R1-bf16-lora</code>
更多参数信息，请运行 python lora_finetune.py --help 查看。训练过程中的学习率、损失函数和梯度范数等信息将通过TensorBoard记录。
LoRA优化硬件资源
通过LoRA等优化技术，该脚本将SFT DeepSeek V3/R1 671B的最低硬件需求降低了近10倍，可在32个Ascend 910B NPU 64GB（ep=8, pp=4）或24个H100/H800 GPU（ep=8, pp=3）上运行。启用CPU offload（--zero_cpu_offload）可进一步降低硬件需求，但会影响训练速度。
下图展示了SFT DeepSeek V3/R1 671B模型的损失函数下降曲线：
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
资源充足的团队可将并行度扩展至数百甚至数千卡，快速完成全参数微调或加速训练。
强化学习微调蒸馏版DeepSeek
Colossal-AI团队验证并实现了DeepSeek论文中的GRPO算法和可验证奖励机制，并使用Qwen2.5-3B-Base模型进行了实验。奖励函数设计如下：
- 正确格式：奖励=0
- 正确格式，错误结果：奖励=1
- 正确格式和结果：奖励=10
Colossal-AI提供了用于验证GRPO的对话模板和设置（https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530/blob/main/applications/ColossalChat/conversation_template/Qwen_Qwen2.5-3B.json），一键启动脚本：https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530/blob/main/applications/ColossalChat/examples/training_scripts/train_grpo.sh
下图显示了3B参数量模型在训练过程中平均奖励和回复长度的增长情况：
下图展示了模型在训练过程中自我纠正的示例：
Colossal-AI：高效的后训练工具箱
Colossal-AI致力于成为开发者易于使用的后训练工具，帮助用户基于开源模型，低成本快速构建私有模型。
开源地址：https://www.php.cn/link/b9531e7d2a8f38fe8dcc73f58cae9530
