0

0

拼写的后传播 - 如karpathy所解释

碧海醫心

碧海醫心

发布时间:2025-02-16 08:29:46

|

748人浏览过

|

来源于dev.to

转载

嗨!我是hexmos的创始人shrijith venkatrama。目前,我正在构建liveapi,该工具使您的代码中生成api文档非常容易。 添加标签以提高图形可读性

将标签参数添加到值类:

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label

  def __repr__(self):
    return f"value(data={self.data})"

  def __add__(self, other):
    return value(self.data + other.data, (self, other), '+')

  def __mul__(self, other):
    return value(self.data * other.data, (self, other), '-')

a = value(2.0, label='a')
b = value(-3.0, label='b')
c = value(10, label='c')
e = a * b; e.label = 'e'
d = e + c; d.label = 'd'
print(d._prev)
print(d._op)
print("---")
print(e._prev)
print(e._op)

更新draw_dot将标签包括在图中

最初,我们的节点表达式为:

dot.node(name=uid, label="{ data %.4f }" % (n.data,), shape='record')

>替换为:

dot.node(name=uid, label="{ %s | data %.4f }" % (n.label, n.data), shape='record')

现在draw_dot(d)返回:

带有标签的重新渲染图

graph with labels 让我们在表达式中添加一些节点-f和l

44543468844

生成图:

draw_dot(l)

more complex expression我们上面构建的此图是布置节点的 forward-pass

我们要计算的 >我们想知道输入(权重-a,b,c,d,e,f)如何影响输出(损耗函数l)。因此 - 我们想找到:dl/dl,dl/df,dl/de,dl/dd,dl/dc,dl/db,dl/da。

添加毕业参数以适应反射

class value:
  def __init__(self, data, _children=(), _op='', label=''):
    self.data = data
    self._prev = set(_children)
    self._op = _op
    self.label = label
    self.grad = 0.0 # 0 means no impact on output to start with

更新节点图形信息

dot.node(name=uid, label="{ %s | data %.4f | grad %.4f }" % (n.label, n.data, n.grad), shape='record')

手动执行给定图的后传播

节点l graph with grad property

什么是dl/dl - 也就是说,如果我们少量更改l,它将如何影响输出l?答案显然是-1。

是,

l.grad = 1

表达

44543468844

节点d

l = d * f

by known rules:

dl/dd = f

by derivation:

dl/dd = 

(f(x+h) - f(x))/h = 

(d*f + h*f - d*f)/h = 

h*f/h =

f

that is, dl/dd = f = -2.0

>所以,我们做

d.grad = -2.0

节点f

通过对称,我们得到dl/df = d = 4.0
是,

f.grad = 4.0

新的更新图是这样的:

>


如何对衍生物进行数值验证

def verify_dl_by_df():
  h = 0.001

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0, label='f')
  l = d * f; l.label = 'l'
  l1 = l.data

  a = value(2.0, label='a')
  b = value(-3.0, label='b')
  c = value(10, label='c')
  e = a * b; e.label = 'e'
  d = e + c; d.label = 'd'
  f = value(-2.0 + h, label='f') # bumb f a little bit
  l = d * f; l.label = 'l'
  l2 = l.data

  print((l2 - l1)/h)

verify_dl_by_df() # prints out 3.9999 ~ 4

挑战 - 我们如何计算dl/dc?

updated graph我们知道dl/dd = -2.0-所以我们知道l如何受d。>>的影响

的问题是,c将如何影响l。

首先,我们可以计算“局部衍生物”,或者弄清楚c首先影响d。

是,

> dd/dc =?

我们知道:

d = c e

因此,一旦我们通过c进行区分,我们就会得到:dd/dc = 1

同样,dd/de = 1。

现在的问题是,如何将dd/dc和dl/dd组合在一起?

我们需要一些称为链条规则的东西:

因此,应用链条规则,我们得到:

GAIPPT
GAIPPT

AI PPT制作和美化神器

下载

dl/dc = dl/dd * dd/dc
dl/dc = -2.0 * 1.0 = -2.0

同样,dl/de = -2.0

>

>让我们在python中设置值,然后重新绘制图表

>

18574658665

chain rule

找出dl/da和dl/db

我们知道:

dl/de = -2.0


我们想知道:

dl/da = dl/de * de/dagraph with grads for c & e

we know that:

e = a * b
de/da = b
de/da = b = -3.0

we can also find:

e = a * b
de/db = a
de/db = a = 2.0

>所以,现在要获得我们需要的东西:

dl/da = dl/de * de/da = -2.0 * -3.0 = 6.0
dl/db = dl/de * de/db = -2.0 * 2.0 = -4.0

我们在python中设置了值,然后redraw以获取完整图:>

a.grad = 6.0
b.grad = -4.0


参考

相关专题

更多
python开发工具
python开发工具

php中文网为大家提供各种python开发工具,好的开发工具,可帮助开发者攻克编程学习中的基础障碍,理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容,供大家免费下载使用。

751

2023.06.15

python打包成可执行文件
python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章,大家可以免费的下载体验。

636

2023.07.20

python能做什么
python能做什么

python能做的有:可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

758

2023.07.25

format在python中的用法
format在python中的用法

Python中的format是一种字符串格式化方法,用于将变量或值插入到字符串中的占位符位置。通过format方法,我们可以动态地构建字符串,使其包含不同值。php中文网给大家带来了相关的教程以及文章,欢迎大家前来阅读学习。

618

2023.07.31

python教程
python教程

Python已成为一门网红语言,即使是在非编程开发者当中,也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章,大家可以免费体验学习。

1262

2023.08.03

python环境变量的配置
python环境变量的配置

Python是一种流行的编程语言,被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后,我们需要配置环境变量,以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

547

2023.08.04

python eval
python eval

eval函数是Python中一个非常强大的函数,它可以将字符串作为Python代码进行执行,实现动态编程的效果。然而,由于其潜在的安全风险和性能问题,需要谨慎使用。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

577

2023.08.04

scratch和python区别
scratch和python区别

scratch和python的区别:1、scratch是一种专为初学者设计的图形化编程语言,python是一种文本编程语言;2、scratch使用的是基于积木的编程语法,python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容,供大家免费下载体验。

706

2023.08.11

Java 桌面应用开发(JavaFX 实战)
Java 桌面应用开发(JavaFX 实战)

本专题系统讲解 Java 在桌面应用开发领域的实战应用,重点围绕 JavaFX 框架,涵盖界面布局、控件使用、事件处理、FXML、样式美化(CSS)、多线程与UI响应优化,以及桌面应用的打包与发布。通过完整示例项目,帮助学习者掌握 使用 Java 构建现代化、跨平台桌面应用程序的核心能力。

12

2026.01.14

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
最新Python教程 从入门到精通
最新Python教程 从入门到精通

共4课时 | 0.6万人学习

Django 教程
Django 教程

共28课时 | 3.1万人学习

SciPy 教程
SciPy 教程

共10课时 | 1.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号