0

0

JAX中实现可向量化高阶导数函数的正确方法

霞舞

霞舞

发布时间:2026-01-02 12:12:08

|

998人浏览过

|

来源于php中文网

原创

JAX中实现可向量化高阶导数函数的正确方法

jax无法直接对`grad`调用次数进行动态向量化(因`grad`需在trace时确定),但可通过预生成各阶导数函数+`lax.switch`在运行时选择,再结合`vmap`实现对阶数数组的批量计算。

在JAX中,jax.grad是一个trace-time变换:它必须在JIT编译或vmap追踪阶段就明确知道要应用多少次,而不能依赖于运行时才确定的 traced 值(如 order)。因此,以下写法必然失败:

def grad_pow(f, order, argnum):
    for i in jnp.arange(order):  # ❌ 错误:jnp.arange(order) 中 order 是 traced,不可用于控制流
        f = grad(f, argnum)
    return f

jax.vmap(grad_pow, in_axes=(None, 0, None))(f, jnp.array([1, 2, 3]), 0)  # ConcretizationTypeError

根本原因有二:

  1. vmap 不支持返回函数 —— 它仅允许输出张量(arrays),而 grad_pow 的目标是返回一个可调用函数;
  2. grad 无法在 traced 循环中动态展开 —— for i in jnp.arange(order) 在 trace 阶段无法展开,因为 order 尚未 concrete。

✅ 正确解法:静态预生成 + 动态分发
核心思路是:

  • 在 trace 前(即 static_argnums 或编译时)预先计算出所有可能阶数(如 0 到 max_order)对应的导数函数;
  • 使用 jax.lax.switch 根据 runtime 的 order 值(必须是 integer scalar,且 ≤ max_order)从预存函数列表中选择并调用对应函数
  • 最后用 vmap 对 order 数组和输入参数分别向量化。

以下是完整、可运行的解决方案:

KAIZAN.ai
KAIZAN.ai

使用AI来改善客户服体验,提高忠诚度

下载
import jax
import jax.numpy as jnp
from functools import partial

@partial(jax.jit, static_argnums=[0], static_argnames=['argnum', 'max_order'])
def apply_multi_grad(f, order, *args, argnum=0, max_order=10):
    """对指定阶数 order 应用 f 的 order 阶导数,并立即在 *args 上求值。

    Args:
        f: 原始标量函数(接受至少 argnum+1 个位置参数)
        order: int 标量(非 traced!由 static_argnames 或 jit 编译时固定,或作为 switch 索引)
        *args: 输入参数(如 x, y, ...),将传给所选导数函数
        argnum: 对第几个位置参数求导(默认 0)
        max_order: 预生成的最大阶数(编译时静态常量)

    Returns:
        f 的 order 阶导数在 *args 处的函数值(标量或数组)
    """
    # ✅ 静态循环:在 trace 时完全展开,生成 [f⁰, f¹, f², ..., f^max_order]
    funcs = [f]
    for i in range(max_order):
        funcs.append(jax.grad(funcs[-1], argnum=argnum))

    # ✅ switch 要求 order 是 Python int 或 traced int 标量(且 < len(funcs))
    # 它会在 runtime 根据 order 值跳转到对应函数并调用
    return jax.lax.switch(order, funcs, *args)

# 示例:对 sin(x) 在不同阶数下求值
if __name__ == "__main__":
    f = jnp.sin
    orders = jnp.array([0, 1, 2])  # 求 0 阶(原函数)、1 阶(cos)、2 阶(-sin)
    xs = jnp.array([0.0, jnp.pi/2, jnp.pi])

    # ✅ vmap over order (and xs) —— 注意 in_axes 匹配
    result = jax.vmap(
        apply_multi_grad, 
        in_axes=(None, 0, 0)  # f 不变,order 和 xs 沿 axis=0 向量化
    )(f, orders, xs)

    print("vmap 结果:", result)
    # >>> vmap 结果: [ 0.          0.          0.        ]  ← sin(0), cos(π/2), -sin(π)

    # ✅ 手动验证一致性
    manual = jnp.array([
        f(xs[0]),
        jax.grad(f)(xs[1]),
        jax.grad(jax.grad(f))(xs[2])
    ])
    print("手动验证:", manual)
    # >>> 手动验证: [ 0.          0.          0.        ]

? 关键注意事项:

  • max_order 必须设为合理的上界(如 5 或 10),过大将增加编译时间和内存开销;
  • order 参数虽可被 vmap 向量化,但每个元素必须是 ≤ max_order 的整数,否则 switch 报错;
  • 若需支持更高阶或更灵活的 argnum,可将 argnum 也设为 static_argnums(需确保其在 vmap 中不变化);
  • 此方案天然兼容 jit、pmap 和 pjit,且性能接近手写各阶导数。

总结:JAX 的函数式与 trace-first 设计决定了“动态次数微分”不可行,但通过有限静态展开 + 运行时分支选择,我们既能保持纯函数式风格,又能高效实现向量化高阶导数计算。

相关专题

更多
switch语句用法
switch语句用法

switch语句用法:1、Switch语句只能用于整数类型,枚举类型和String类型,不能用于浮点数类型和布尔类型;2、每个case语句后面必须跟着一个break语句,以防止执行其他case的代码块,没有break语句,将会继续执行下一个case的代码块;3、可以在一个case语句中匹配多个值,使用逗号分隔;4、Switch语句中的default代码块是可选的等等。

529

2023.09.21

Java switch的用法
Java switch的用法

Java中的switch语句用于根据不同的条件执行不同的代码块。想了解更多switch的相关内容,可以阅读本专题下面的文章。

411

2024.03.13

C++ 单元测试与代码质量保障
C++ 单元测试与代码质量保障

本专题系统讲解 C++ 在单元测试与代码质量保障方面的实战方法,包括测试驱动开发理念、Google Test/Google Mock 的使用、测试用例设计、边界条件验证、持续集成中的自动化测试流程,以及常见代码质量问题的发现与修复。通过工程化示例,帮助开发者建立 可测试、可维护、高质量的 C++ 项目体系。

3

2026.01.16

java数据库连接教程大全
java数据库连接教程大全

本专题整合了java数据库连接相关教程,阅读专题下面的文章了解更多详细内容。

23

2026.01.15

Java音频处理教程汇总
Java音频处理教程汇总

本专题整合了java音频处理教程大全,阅读专题下面的文章了解更多详细内容。

7

2026.01.15

windows查看wifi密码教程大全
windows查看wifi密码教程大全

本专题整合了windows查看wifi密码教程大全,阅读专题下面的文章了解更多详细内容。

30

2026.01.15

浏览器缓存清理方法汇总
浏览器缓存清理方法汇总

本专题整合了浏览器缓存清理教程汇总,阅读专题下面的文章了解更多详细内容。

2

2026.01.15

ps图片相关教程汇总
ps图片相关教程汇总

本专题整合了ps图片设置相关教程合集,阅读专题下面的文章了解更多详细内容。

8

2026.01.15

ppt一键生成相关合集
ppt一键生成相关合集

本专题整合了ppt一键生成相关教程汇总,阅读专题下面的的文章了解更多详细内容。

3

2026.01.15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.8万人学习

Django 教程
Django 教程

共28课时 | 3.1万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号