0

0

JAX中实现可向量化高阶导数函数的正确方法

霞舞

霞舞

发布时间:2026-01-02 12:12:08

|

998人浏览过

|

来源于php中文网

原创

JAX中实现可向量化高阶导数函数的正确方法

jax无法直接对`grad`调用次数进行动态向量化(因`grad`需在trace时确定),但可通过预生成各阶导数函数+`lax.switch`在运行时选择,再结合`vmap`实现对阶数数组的批量计算。

在JAX中,jax.grad是一个trace-time变换:它必须在JIT编译或vmap追踪阶段就明确知道要应用多少次,而不能依赖于运行时才确定的 traced 值(如 order)。因此,以下写法必然失败:

def grad_pow(f, order, argnum):
    for i in jnp.arange(order):  # ❌ 错误:jnp.arange(order) 中 order 是 traced,不可用于控制流
        f = grad(f, argnum)
    return f

jax.vmap(grad_pow, in_axes=(None, 0, None))(f, jnp.array([1, 2, 3]), 0)  # ConcretizationTypeError

根本原因有二:

  1. vmap 不支持返回函数 —— 它仅允许输出张量(arrays),而 grad_pow 的目标是返回一个可调用函数;
  2. grad 无法在 traced 循环中动态展开 —— for i in jnp.arange(order) 在 trace 阶段无法展开,因为 order 尚未 concrete。

✅ 正确解法:静态预生成 + 动态分发
核心思路是:

  • 在 trace 前(即 static_argnums 或编译时)预先计算出所有可能阶数(如 0 到 max_order)对应的导数函数;
  • 使用 jax.lax.switch 根据 runtime 的 order 值(必须是 integer scalar,且 ≤ max_order)从预存函数列表中选择并调用对应函数
  • 最后用 vmap 对 order 数组和输入参数分别向量化。

以下是完整、可运行的解决方案:

CodeSquire
CodeSquire

AI代码编写助手,把你的想法变成代码

下载
import jax
import jax.numpy as jnp
from functools import partial

@partial(jax.jit, static_argnums=[0], static_argnames=['argnum', 'max_order'])
def apply_multi_grad(f, order, *args, argnum=0, max_order=10):
    """对指定阶数 order 应用 f 的 order 阶导数,并立即在 *args 上求值。

    Args:
        f: 原始标量函数(接受至少 argnum+1 个位置参数)
        order: int 标量(非 traced!由 static_argnames 或 jit 编译时固定,或作为 switch 索引)
        *args: 输入参数(如 x, y, ...),将传给所选导数函数
        argnum: 对第几个位置参数求导(默认 0)
        max_order: 预生成的最大阶数(编译时静态常量)

    Returns:
        f 的 order 阶导数在 *args 处的函数值(标量或数组)
    """
    # ✅ 静态循环:在 trace 时完全展开,生成 [f⁰, f¹, f², ..., f^max_order]
    funcs = [f]
    for i in range(max_order):
        funcs.append(jax.grad(funcs[-1], argnum=argnum))

    # ✅ switch 要求 order 是 Python int 或 traced int 标量(且 < len(funcs))
    # 它会在 runtime 根据 order 值跳转到对应函数并调用
    return jax.lax.switch(order, funcs, *args)

# 示例:对 sin(x) 在不同阶数下求值
if __name__ == "__main__":
    f = jnp.sin
    orders = jnp.array([0, 1, 2])  # 求 0 阶(原函数)、1 阶(cos)、2 阶(-sin)
    xs = jnp.array([0.0, jnp.pi/2, jnp.pi])

    # ✅ vmap over order (and xs) —— 注意 in_axes 匹配
    result = jax.vmap(
        apply_multi_grad, 
        in_axes=(None, 0, 0)  # f 不变,order 和 xs 沿 axis=0 向量化
    )(f, orders, xs)

    print("vmap 结果:", result)
    # >>> vmap 结果: [ 0.          0.          0.        ]  ← sin(0), cos(π/2), -sin(π)

    # ✅ 手动验证一致性
    manual = jnp.array([
        f(xs[0]),
        jax.grad(f)(xs[1]),
        jax.grad(jax.grad(f))(xs[2])
    ])
    print("手动验证:", manual)
    # >>> 手动验证: [ 0.          0.          0.        ]

? 关键注意事项:

  • max_order 必须设为合理的上界(如 5 或 10),过大将增加编译时间和内存开销;
  • order 参数虽可被 vmap 向量化,但每个元素必须是 ≤ max_order 的整数,否则 switch 报错;
  • 若需支持更高阶或更灵活的 argnum,可将 argnum 也设为 static_argnums(需确保其在 vmap 中不变化);
  • 此方案天然兼容 jit、pmap 和 pjit,且性能接近手写各阶导数。

总结:JAX 的函数式与 trace-first 设计决定了“动态次数微分”不可行,但通过有限静态展开 + 运行时分支选择,我们既能保持纯函数式风格,又能高效实现向量化高阶导数计算。

相关专题

更多
switch语句用法
switch语句用法

switch语句用法:1、Switch语句只能用于整数类型,枚举类型和String类型,不能用于浮点数类型和布尔类型;2、每个case语句后面必须跟着一个break语句,以防止执行其他case的代码块,没有break语句,将会继续执行下一个case的代码块;3、可以在一个case语句中匹配多个值,使用逗号分隔;4、Switch语句中的default代码块是可选的等等。

519

2023.09.21

Java switch的用法
Java switch的用法

Java中的switch语句用于根据不同的条件执行不同的代码块。想了解更多switch的相关内容,可以阅读本专题下面的文章。

404

2024.03.13

php源码安装教程大全
php源码安装教程大全

本专题整合了php源码安装教程,阅读专题下面的文章了解更多详细内容。

61

2025.12.31

php网站源码教程大全
php网站源码教程大全

本专题整合了php网站源码相关教程,阅读专题下面的文章了解更多详细内容。

41

2025.12.31

视频文件格式
视频文件格式

本专题整合了视频文件格式相关内容,阅读专题下面的文章了解更多详细内容。

32

2025.12.31

不受国内限制的浏览器大全
不受国内限制的浏览器大全

想找真正自由、无限制的上网体验?本合集精选2025年最开放、隐私强、访问无阻的浏览器App,涵盖Tor、Brave、Via、X浏览器、Mullvad等高自由度工具。支持自定义搜索引擎、广告拦截、隐身模式及全球网站无障碍访问,部分更具备防追踪、去谷歌化、双内核切换等高级功能。无论日常浏览、隐私保护还是突破地域限制,总有一款适合你!

41

2025.12.31

出现404解决方法大全
出现404解决方法大全

本专题整合了404错误解决方法大全,阅读专题下面的文章了解更多详细内容。

198

2025.12.31

html5怎么播放视频
html5怎么播放视频

想让网页流畅播放视频?本合集详解HTML5视频播放核心方法!涵盖<video>标签基础用法、多格式兼容(MP4/WebM/OGV)、自定义播放控件、响应式适配及常见浏览器兼容问题解决方案。无需插件,纯前端实现高清视频嵌入,助你快速打造现代化网页视频体验。

9

2025.12.31

关闭win10系统自动更新教程大全
关闭win10系统自动更新教程大全

本专题整合了关闭win10系统自动更新教程大全,阅读专题下面的文章了解更多详细内容。

8

2025.12.31

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 2.7万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号