0

0

JAX vjp 失败原因与 vmap + custom_vjp 的正确组合方式

霞舞

霞舞

发布时间:2026-01-09 12:53:25

|

160人浏览过

|

来源于php中文网

原创

JAX vjp 失败原因与 vmap + custom_vjp 的正确组合方式

当对带有 `custom_vjp` 的函数先 `vmap` 再调用 `vjp` 时,若在定义 `vmap` 版本后覆盖了原始函数名,会导致前向传播中递归调用错误的 vmapped 版本,从而引发 cotangent 形状不匹配的错误。

在 JAX 中,custom_vjp 的前向函数(fwd)必须严格调用原始未变换的函数,以确保其输入/输出形状与 vjp 约定一致:即前向传播返回的 primal_out 形状应与后续 vjp 接收的 cotangent 形状完全匹配(即 cotangent.shape == primal_out.shape)。

问题代码中,关键错误在于:

test_func = vmap(test_func, in_axes=(None, 0))  # ❌ 覆盖了原始 test_func

这导致 test_func_fwd 内部调用的 test_func(jnp.dot(R, R)) 实际执行的是 已 vmapped 的版本,而 jnp.dot(R, R) 的输入 R 是标量(因 R 是 jnp.dot 的结果,shape 为 ()),但 vmapped test_func 期望 R 具有 batch 维度(如 (10, 3)),于是内部逻辑错乱,最终使 primal_out 的隐式形状与 vjp 期望不符——vjp 认为输出是 (10,),但 bwd 接收到的 residual 和 cotangent 却因前向误调而维度失配,触发报错:

ValueError: Shape of cotangent input to vjp pullback function (10,) must be the same as the shape of corresponding primal input (10, 3).

该错误信息虽表述为“cotangent 应与 primal input 同形”,实则是 JAX 在反向传播校验阶段,因前向路径被污染,无法正确推导出梯度传播所需的张量结构所致。

Napkin AI
Napkin AI

Napkin AI 可以将您的文本转换为图表、流程图、信息图、思维导图视觉效果,以便快速有效地分享您的想法。

下载

✅ 正确做法是:保留原始 test_func 不变,仅将 vmap 结果赋给新变量名

# ✅ 保持原始 test_func 不被覆盖
test_func_mapped = vmap(test_func, in_axes=(None, 0))

# 在 vjp 中使用映射后的版本
primal, f_vjp = vjp(partial(test_func_mapped, f), jnp.ones((10, 3)))
cotangent = jnp.ones(10)  # shape matches primal_out: (10,)
cotangent_out = f_vjp(cotangent)

print(cotangent_out[0].shape)  # → (10, 3)

? 补充注意事项:

  • custom_vjp 的 fwd 函数中禁止调用任何高阶变换(如 vmap, jit, grad)后的函数,除非明确设计为支持嵌套;
  • 若需批量处理并保留 vjp 可用性,推荐使用 vmap 包裹整个 vjp 调用(即 vmap(vjp(...))),而非先 vmap 函数再 vjp;
  • 对于复杂控制流或状态依赖场景,建议通过 jax.custom_vjp + non-differentiable arguments 显式隔离不变参数,并始终在 fwd/bwd 中使用原始函数引用。

遵循“函数变换不覆盖原名”这一原则,可避免绝大多数 vmap 与 custom_vjp 组合时的静默行为异常。

相关专题

更多
点击input框没有光标怎么办
点击input框没有光标怎么办

点击input框没有光标的解决办法:1、确认输入框焦点;2、清除浏览器缓存;3、更新浏览器;4、使用JavaScript;5、检查硬件设备;6、检查输入框属性;7、调试JavaScript代码;8、检查页面其他元素;9、考虑浏览器兼容性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

180

2023.11.24

Golang gRPC 服务开发与Protobuf实战
Golang gRPC 服务开发与Protobuf实战

本专题系统讲解 Golang 在 gRPC 服务开发中的完整实践,涵盖 Protobuf 定义与代码生成、gRPC 服务端与客户端实现、流式 RPC(Unary/Server/Client/Bidirectional)、错误处理、拦截器、中间件以及与 HTTP/REST 的对接方案。通过实际案例,帮助学习者掌握 使用 Go 构建高性能、强类型、可扩展的 RPC 服务体系,适用于微服务与内部系统通信场景。

8

2026.01.15

公务员递补名单公布时间 公务员递补要求
公务员递补名单公布时间 公务员递补要求

公务员递补名单公布时间不固定,通常在面试前,由招录单位(如国家知识产权局、海关等)发布,依据是原入围考生放弃资格,会按笔试成绩从高到低递补,递补考生需按公告要求限时确认并提交材料,及时参加面试/体检等后续环节。要求核心是按招录单位公告及时响应、提交材料(确认书、资格复审材料)并准时参加面试。

44

2026.01.15

公务员调剂条件 2026调剂公告时间
公务员调剂条件 2026调剂公告时间

(一)符合拟调剂职位所要求的资格条件。 (二)公共科目笔试成绩同时达到拟调剂职位和原报考职位的合格分数线,且考试类别相同。 拟调剂职位设置了专业科目笔试条件的,专业科目笔试成绩还须同时达到合格分数线,且考试类别相同。 (三)未进入原报考职位面试人员名单。

55

2026.01.15

国考成绩查询入口 国考分数公布时间2026
国考成绩查询入口 国考分数公布时间2026

笔试成绩查询入口已开通,考生可登录国家公务员局中央机关及其直属机构2026年度考试录用公务员专题网站http://bm.scs.gov.cn/pp/gkweb/core/web/ui/business/examResult/written_result.html,查询笔试成绩和合格分数线,点击“笔试成绩查询”按钮,凭借身份证及准考证进行查询。

11

2026.01.15

Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

65

2026.01.14

php与html混编教程大全
php与html混编教程大全

本专题整合了php和html混编相关教程,阅读专题下面的文章了解更多详细内容。

36

2026.01.13

PHP 高性能
PHP 高性能

本专题整合了PHP高性能相关教程大全,阅读专题下面的文章了解更多详细内容。

75

2026.01.13

MySQL数据库报错常见问题及解决方法大全
MySQL数据库报错常见问题及解决方法大全

本专题整合了MySQL数据库报错常见问题及解决方法,阅读专题下面的文章了解更多详细内容。

21

2026.01.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Java 教程
Java 教程

共578课时 | 46.2万人学习

国外Web开发全栈课程全集
国外Web开发全栈课程全集

共12课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号