0

0

如何在PyTorch中加载预训练模型 PyTorch模型加载与微调实践

P粉602998670

P粉602998670

发布时间:2025-08-02 17:03:01

|

847人浏览过

|

来源于php中文网

原创

在pytorch中加载预训练模型的关键在于理解模型结构与权重的匹配关系。1. 对于resnet、vgg等常见模型,可通过torchvision.models直接加载预训练版本,使用weights参数指定权重类型更推荐;2. 自定义模型需手动加载权重,创建模型后使用load_state_dict并设置strict=false忽略不匹配部分;3. 微调时可冻结部分层,通过设置requires_grad=false锁定参数;4. 推荐仅保存和加载模型状态字典以提高灵活性,并注意设备一致性问题。掌握这些要点即可应对大多数情况。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

如何在PyTorch中加载预训练模型 PyTorch模型加载与微调实践

在PyTorch中加载预训练模型其实并不复杂,关键在于理解模型结构和权重之间的关系。如果你用的是常见的模型架构(比如ResNet、VGG等),通常可以直接从

torchvision.models
中获取对应的预训练版本。而对于自定义模型或部分修改后的模型,就需要更细致地处理权重加载方式。

如何在PyTorch中加载预训练模型 PyTorch模型加载与微调实践

使用torchvision快速加载常见预训练模型

对于像ResNet、AlexNet这类经典模型,推荐使用

torchvision.models
中的接口。这些模型默认提供是否加载预训练权重的选项。

如何在PyTorch中加载预训练模型 PyTorch模型加载与微调实践

例如:

import torchvision.models as models

model = models.resnet18(pretrained=True)

这样一行代码就能加载一个带预训练权重的ResNet18模型。如果你想换成其他变种,比如

resnet50
或者
vgg16
,只需要替换名字即可。

如何在PyTorch中加载预训练模型 PyTorch模型加载与微调实践

需要注意的是:从 PyTorch 1.8 开始,

pretrained
参数被逐步弃用,取而代之的是通过
weights
参数指定具体权重类型。比如:

model = models.resnet18(weights=models.ResNet18_Weights.IMAGENET1K_V1)

这种方式更清晰,也方便你选择不同来源的预训练权重。

自定义模型加载预训练权重

如果你对模型结构做了改动,比如改了最后一层分类器的输出维度,就不能直接使用

pretrained=True
,而是需要手动加载权重。

一般做法是先创建你的模型结构,然后加载原始权重文件,并忽略不匹配的部分。

步骤如下:

  • 创建模型结构
  • 加载预训练权重字典
  • 使用
    load_state_dict
    并设置
    strict=False

示例代码:

甲骨文AI协同平台
甲骨文AI协同平台

专门用于甲骨文研究的革命性平台

下载
model = MyModifiedResNet()
pretrained_dict = torch.load('resnet18.pth')
model.load_state_dict(pretrained_dict, strict=False)

这里的关键是确保大部分层的名字和结构都能对应上,否则会报错。如果模型结构差异太大,可能需要手动映射某些层。

微调时冻结部分层

微调模型时,有时候我们只想训练最后几层,而保持前面的特征提取层不变。这时候可以通过设置

requires_grad
来冻结部分参数。

以ResNet为例,假设你想冻结所有层,只训练最后的全连接层:

for param in model.parameters():
    param.requires_grad = False

# 只训练最后的fc层
model.fc = nn.Linear(512, new_num_classes)

这样,在反向传播过程中,只有

model.fc
的参数会被更新。

当然,也可以有选择地冻结某些层,而不是全部。比如只冻结前几层卷积层,保留后面层可训练。

权重保存与加载格式注意事项

PyTorch模型保存的常见方式有两种:

  • 保存整个模型:
    torch.save(model, PATH)
  • 仅保存模型状态字典:
    torch.save(model.state_dict(), PATH)

推荐使用第二种方式,因为它更灵活,特别是在模型类定义发生变化后仍然能加载权重。

加载时也要注意设备问题。如果保存的是GPU上的模型,而在CPU环境下加载,需要加上

map_location='cpu'

model.load_state_dict(torch.load(PATH, map_location='cpu'))

否则可能会遇到设备不匹配的问题。


基本上就这些操作了。加载预训练模型本身不难,但要注意结构匹配、设备一致性和是否需要冻结部分层。掌握这几个点,大多数情况都能应对。

相关专题

更多
硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1026

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

66

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

454

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

10

2026.01.19

pytorch是干嘛的
pytorch是干嘛的

pytorch是一个基于python的深度学习框架,提供以下主要功能:动态图计算,提供灵活性。强大的张量操作,实现高效处理。自动微分,简化梯度计算。预构建的神经网络模块,简化模型构建。各种优化器,用于性能优化。想了解更多pytorch的相关内容,可以阅读本专题下面的文章。

432

2024.05.29

Python AI机器学习PyTorch教程_Python怎么用PyTorch和TensorFlow做机器学习
Python AI机器学习PyTorch教程_Python怎么用PyTorch和TensorFlow做机器学习

PyTorch 是一种用于构建深度学习模型的功能完备框架,是一种通常用于图像识别和语言处理等应用程序的机器学习。 使用Python 编写,因此对于大多数机器学习开发者而言,学习和使用起来相对简单。 PyTorch 的独特之处在于,它完全支持GPU,并且使用反向模式自动微分技术,因此可以动态修改计算图形。

23

2025.12.22

Java JVM 原理与性能调优实战
Java JVM 原理与性能调优实战

本专题系统讲解 Java 虚拟机(JVM)的核心工作原理与性能调优方法,包括 JVM 内存结构、对象创建与回收流程、垃圾回收器(Serial、CMS、G1、ZGC)对比分析、常见内存泄漏与性能瓶颈排查,以及 JVM 参数调优与监控工具(jstat、jmap、jvisualvm)的实战使用。通过真实案例,帮助学习者掌握 Java 应用在生产环境中的性能分析与优化能力。

19

2026.01.20

PS使用蒙版相关教程
PS使用蒙版相关教程

本专题整合了ps使用蒙版相关教程,阅读专题下面的文章了解更多详细内容。

61

2026.01.19

java用途介绍
java用途介绍

本专题整合了java用途功能相关介绍,阅读专题下面的文章了解更多详细内容。

87

2026.01.19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
10分钟--Midjourney创作自己的漫画
10分钟--Midjourney创作自己的漫画

共1课时 | 0.1万人学习

Midjourney 关键词系列整合
Midjourney 关键词系列整合

共13课时 | 0.9万人学习

AI绘画教程
AI绘画教程

共2课时 | 0.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号