-
在 PyTorch 中,结果 Tensor(如 y)之所以知道计算过程中使用了哪些 Tensor,核心机制在于动态计算图(Dynamic Computation Graph)的构建与grad_fn属性的链接,而requires_grad参数是触发这一机制的开关。核心机制:动态计算图与 grad_fnPyTorch 采用“定义即运行”(Define-by-Run)的策略。当你对一个开启了 requires_grad=True 的 Tensor 进行操作时,PyTorch 不仅会计算数值结果,还会在后台自动构建一个有向无环图(DAG),记录所有的操作历史 。grad_fn 属性:这是结果 Tensor 知道“前身”的关键。任何由其他 Tensor 运算得到的新 Tensor,其 grad_fn 属性都会指向一个 Function 对象(例如 <AddBackward0>、<MulBackward0>)。这个对象记录了产生该 Tensor 的具体运算操作以及输入该操作的父节点 Tensor 。叶子节点(Leaf Tensor):用户直接创建的 Tensor(如 x)如果是需要求导的,其 grad_fn 为 None,被称为叶子节点。它们通过被后续节点的 grad_fn 引用而存在于图中 。追踪过程:当你执行 y = x * 2 时,y 的 grad_fn 会保存指向 x 的引用以及乘法操作的逆运算逻辑。如果继续执行 z = y + 1,z 的 grad_fn 会指向 y 及其加法操作逻辑,从而形成一条完整的链条:z -> y -> x 。2. requires_grad 的作用requires_grad 参数决定了 PyTorch 是否跟踪该 Tensor 的操作历史,它是构建计算图的必要条件,但不是充分条件(因为结果 Tensor 的 requires_grad 通常自动推断为 True)。特性 requires_grad=True requires_grad=False (默认)操作追踪 PyTorch 会记录所有涉及该 Tensor 的操作,构建计算图 。 PyTorch 忽略该 Tensor 的操作历史,不构建计算图,节省内存和计算资源。梯度计算 允许对该 Tensor 调用 .backward() 并计算梯度,结果存储在 .grad 属性中 。 无法计算梯度,即使最终结果调用了 backward,该路径上的梯度也不会回传到此 Tensor。结果继承 任何涉及它的运算结果,默认也会开启 requires_grad=True 。 若所有输入均为 False,结果也为 False;若任一输入为 True,结果通常为 True。典型场景 模型权重参数、需要优化的变量 。 输入数据、中间固定常量、评估阶段的 Tensor。3. 反向传播的执行流程当你在结果 Tensor(如 loss 或 y)上调用 .backward() 时,PyTorch 引擎会从该节点出发,利用 grad_fn 存储的信息逆向遍历整个计算图 :定位起点:从调用 .backward() 的 Tensor 开始。链式法则:读取当前节点的 grad_fn,获取对应的微分函数(即如何求导),并结合上游传来的梯度,计算当前节点对输入的梯度 。递归回溯:将计算出的梯度传递给 grad_fn中记录的父节点 Tensor。如果父节点是叶子节点且 requires_grad=True,则累加到其 .grad 属性中;如果父节点也是中间结果,则继续向其前驱节点回溯 。终止条件:直到遍历完所有相关的叶子节点。4. 代码示例与原理验证以下代码演示了计算图的构建、grad_fn 的链接以及反向传播的过程:import torch1. 创建叶子节点,开启梯度追踪requires_grad=True 告诉 PyTorch 需要记录 x 的操作历史x = torch.tensor([2.0, 3.0], requires_grad=True)2. 执行操作构建计算图y 是由 x 计算得出的,y.grad_fn 会自动指向一个乘法反向传播函数对象y = x * 2z 依赖于 y,进而间接依赖于 xz 的 grad_fn 指向加法操作,并持有对 y 的引用,形成链条 z -> y -> xz = y + 13. 验证计算图结构print(f"x 是叶子节点吗?: {x.is_leaf}“) # 输出:Trueprint(f"x 的 grad_fn: {x.grad_fn}”) # 输出:None (叶子节点没有生成函数)print(f"y 的 grad_fn: {y.grad_fn}“) # 输出:<MulBackward0 object at …>print(f"z 的 grad_fn: {z.grad_fn}”) # 输出:<AddBackward0 object at …>4. 执行反向传播对标量 z 调用 backward(),PyTorch 从 z 开始沿 grad_fn 链条反向推导数学逻辑:dz/dx = dz/dy * dy/dx = 1 * 2 = 2z.sum().backward()5. 查看结果#梯度被累积在叶子节点 x 的 .grad 属性中print(f"x 的梯度:{x.grad}") # 输出:tensor([2., 2.])6. 对比:如果不设置 requires_gradx_no_grad = torch.tensor([2.0, 3.0], requires_grad=False)y_no_grad = x_no_grad * 2print(f"无梯度追踪的 y的 grad_fn: {y_no_grad.grad_fn}") # 输出:None (未构建图)总结Tensor y 能够知道计算过程,是因为 PyTorch 在每一步运算中都动态创建了一个包含操作类型和输入引用的 Function 对象,并将其赋值给结果 Tensor 的 grad_fn 属性 。x.requires_grad=True 是启动这一记录机制的开关,它确保了从 x 出发的所有后续运算都会被纳入计算图中,从而使得最后调用 .backward() 时能够顺藤摸瓜找到 x 并计算梯度 。
-
短视频接口被刷量脚本突袭,网关要限流:既要挡住突发流量,又不能把正常用户的高峰请求一刀切。令牌桶和漏桶在应对突发上有什么区别,该怎么选?
-
数据处理脚本用 threading 开 8 个线程跑纯 CPU 计算,8 核机器的 CPU 占用却只有一核左右。GIL 到底锁住了什么,多进程和协程分别适合什么场景?
-
设计LRU缓存,要求get与put均为O(1)。请说明数据结构选择、淘汰流程,并讨论并发场景下的改进。
-
电商大促前要升级订单服务镜像,旧 Pod 直接下线会导致在途请求中断。Kubernetes 滚动更新配合就绪探针和优雅终止,怎么保证新旧版本交替期间服务一直可用?
-
502/504、高 CPU、偶发 499 分别怎么排查?
-
反向代理超时、重试、负载均衡怎么配才不雪崩?
-
location 匹配规则与常见转发配置坑?
-
Nginx 为什么高性能?worker 与连接数怎么配?
-
线上 Redis 偶发卡顿,监控显示一次 HGETALL 拉出几万字段。SRE 怀疑有 big key。场景:运营活动配置存在 50MB 大 Hash,后台任务遍历导致主线程阻塞。
-
电商主库在华东、从库在华北,复制延迟日常300ms、大促达2s;用户下单后立即查订单却显示不存在,不改同步复制如何修读己之写?
-
移动端 App 首屏请求 HTTPS,TLS 1.2 需要两次握手 RTT,影响感知。产品要求把 TLS 降到一次 RTT。场景:App 冷启动连 API 网关,如何理解 1.3 的 1-RTT 与 0-RTT?
-
电商订单表高峰期读多写多,若每次查询都加锁会导致大量等待。Postgres 用多版本并发控制 MVCC,让读不阻塞写。场景:后台在导出当天订单,业务同时在创建新订单,导出读到的是什么数据?
-
订单服务200实例各开100连接,DB上限5000被打满;大促慢查询占着连接不放,新请求排队超时。如何限流、隔离与快速止血?
-
Pod 被 OOMKilled 怎么办?
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签