本文介绍将Notebook转脚本任务的方法，先进行单卡仿真确保代码可用，再在run.py开头用os.system安装依赖库、解压数据集。重点讲解多卡代码改写，以单机四卡为例，涉及数据并行（用DistributedBatchSampler）、模型参数并行（初始化环境等）及模型保存（仅rank=0时保存）。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
把手教你将Notebook转脚本任务
目前社区里现在比较缺少如何使用脚本任务完成模型训练的内容，很多同学在复现赛中从Notebook转成脚本任务也遇到过很多的问题，包括我们团队之前在做论文复现时也遇到了很多问题，但是解决之后也有很多的心得。因此，这篇文章主要整理了我们是怎么将Notebook转成脚本任务的。
脚本任务支持两种运行方式：
- shell 脚本： 在 run.sh 中编写项目运行时所需的命令，并在启动命令框中填写 bash run.sh <参数1> <参数2>使脚本任务正常运行。
- python 指令：在 run.py 编写运行所需的代码，并在启动命令框中填写 python run.py <参数1> <参数2> 使脚本任务正常运行。
本教程以python指令的运行方式为主，手把手带大家将Notebook里的单卡训练代码转写成脚本任务的多卡训练代码。
一、脚本任务单卡仿真
在转脚本任务时，先不要着急往脚本任务里加多卡运行的代码。一定要先保证代码能在单卡的基础上稳定运行后，再加上多卡的训练代码。
这里可以参考开发者北漂包包的脚本任务仿真环境快速测试你的代码。
在确认代码正确无误后，就可以正式地将你的代码从Notebook迁移到脚本任务上了
二、依赖库的安装
在脚本任务中，官方已经在环境里预装了很多依赖库（已安装的依赖库可查看官方文档），但是难免会遇到一些我们需要，但是环境里没有的依赖库，这是我们就需要在代码运行前把这些依赖库安装好。
安装方法也很简单，我们可以用Python自带的os.system调用shell命令：
# 放在主程序run.py的开头，即先装依赖库再"炼丹"import os
os.system("pip install -r requirements.txt")
三、数据集准备
脚本任务中加载的数据集往往是未解压的压缩包，因此在使用之前一般都需要先解压。这时我们也可以用上面的os.system来处理，把文件解压到指定的目录下，需要用到-d参数：
os.system("unzip -d /root/paddlejob/workspace/train_data/datasets/ /root/paddlejob/workspace/train_data/datasets/data2021/dataset.zip")
上面这句指令的意思是将dataset.zip这个未解压的数据集解压到脚本文件的数据集文件目录/root/paddlejob/workspace/train_data/datasets/
四、多卡代码改写
AI Studio的脚本任务支持了单机四卡和分布式训练（双机四卡），两者消耗的算力是一样的，都是四卡，执行速度应该不会相差太多，因此这里主要以单机四卡为例进行改写。
1.数据并行
相关api文档：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/io/DistributedBatchSampler_cn.html#distributedbatchsampler
多卡并行任务需要将数据分到各个卡上，因此需要改写DataLoader，使用分布式批采样器加载数据的子集，比如4卡就是把数据分为4个子集，然后把这4个子集分别送入这个4块卡，从而提高“炼丹”速度，首先导入分布式批采样器：
from paddle.io import DistributedBatchSampler
然后在加载DataLoader之前先用DistributedBatchSampler将数据集划分为多个子集，具体使用方法可参考如下代码：
from paddle.vision import datasetsfrom paddle.io import DistributedBatchSampler, DataLoader trainset = datasets.Cifar100(mode="train", download=True) train_sampler = DistributedBatchSampler(trainset, batch_size=8, drop_last=False) train_loader = DataLoader(trainset, num_workers=4, batch_sampler=train_sampler)
2.模型参数并行
相关api：
- DataParallel：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/DataParallel_cn.html#dataparallel
- init_parallel_env：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/init_parallel_env_cn.html#init-parallel-env
- spawn：https://www.paddlepaddle.org.cn/documentation/docs/zh/guides/02_paddle2.0_develop/06_device_cn.html#spawn
这部分其实很好改，只需要添加4行代码：
# 1.导入并行任务所必须依赖库import paddleimport paddle.distributed as distdef main():
# 2.初始化并行环境
dist.init_parallel_env() # 3.并行模型及优化器参数
model = paddle.nn.Linear(1, 10)
dp_model = paddle.DataParallel(model)
adam = paddle.optimizer.Adam(learning_rate=0.001, parameters=dp_model.parameters())if __name__ == '__main__': # 4.启动多进程任务
dist.spawn(main())
3.模型参数保存
相关api：get_rank：https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/get_rank_cn.html#get-rank
在保存模型参数时，为了不重复保存，这里设置只有当前进程rank的值等于环境变量PADDLE_TRAINER_ID的值时保存模型参数：
model_to_save = model.state_dict()
model_checkpoint = os.path.join(output_dir, "%s_checkpoint.pdparams" %model_name)if paddle.distributed.get_rank() == 0:
paddle.save(model_to_save, model_checkpoint)
