12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

王林

发布时间：2024-07-11 23:40:20

503人浏览过

来源于机器之心

转载

没想到，自 2012 年 AlexNet 开启的深度学习革命已经过去了 12 年。

而如今，我们也进入了大模型的时代。

近日，知名 AI 研究科学家 Andrej Karpathy 的一条帖子，让参与这波深度学习变革的许多大佬们陷入了回忆杀。从图灵奖得主 Yann LeCun 到 GAN 之父 Ian Goodfellow，纷纷忆往昔。

到目前为止，该帖子已经有 63 万 + 的浏览量。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

12年前上手深度学习，karpathy掀起一波alexnet时代回忆杀，lecun、goodfellow等都下场

在帖子中，Karpathy 提到：有一个有趣的事实是，很多人可能听说过 2012 年 ImageNet/AlexNet 的时刻，以及它开启的深度学习革命。不过，可能很少有人知道，支持这次竞赛获胜作品的代码是由 Alex Krizhevsky 从头开始，用 CUDA/C++ 手工编写的。这个代码仓库叫做 cuda-convnet, 当时托管在 Google Code 上:

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

https://code.google.com/archive/p/cuda-convnet/

Karpathy 想着 Google Code 是不是已经关闭了 (?)，但他在 GitHub 上找到了一些其他开发者基于原始代码创建的新版本，比如：

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

https://github.com/ulrichstern/cuda-convnet

“AlexNet 是最早将 CUDA 用于深度学习的著名例子之一。”Karpathy 回忆说，正是因为使用了 CUDA 和 GPU，AlexNet 才能处理如此大规模的数据 (ImageNet)，并在图像识别任务上取得如此出色的表现。“AlexNet 不仅仅是简单地用了 GPU，还是一个多 GPU 系统。比如 AlexNet 使用了一种叫做模型并行的技术，将卷积运算分成两部分，分别运行在两个 GPU 上。”

Karpathy 提醒大家，你要知道那可是 2012 年啊！“在 2012 年 (大约 12 年前)，大多数深度学习研究都是在 Matlab 中进行，跑在 CPU 上，在玩具级别的数据集上不断迭代各种学习算法、网络架构和优化思路。” 他写道。但 AlexNet 的作者 Alex、Ilya 和 Geoff 却做了一件与当时的主流研究风格完全不同的事情 ——“不再纠结于算法细节，只需要拿一个相对标准的卷积神经网络 (ConvNet)，把它做得非常大，在一个大规模的数据集 (ImageNet) 上训练它，然后用 CUDA/C++ 把整个东西实现出来。”

Alex Krizhevsky 直接使用 CUDA 和 C++ 编写了所有的代码，包括卷积、池化等深度学习中的基本操作。这种做法非常创新也很有挑战性，需要程序员对算法、硬件架构、编程语言等有深入理解。

从底层开始的编程方式复杂而繁琐，但可以最大限度地优化性能，充分发挥硬件计算能力，也正是这种回归根本的做法为深度学习注入了一股强大动力，构成深度学习历史上的转折点。

有意思的是，这一段描述勾起不少人的回忆，大家纷纷考古 2012 年之前自己使用什么工具实现深度学习项目。纽约大学计算机科学教授 Alfredo Canziani 当时用的是 Torch，“从未听说有人使用 Matlab 进行深度学习研究......” 。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

对此 Yann lecun 表示同意，2012 年大多数重要的深度学习都是用 Torch 和 Theano 完成的。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

Karpathy 有不同看法，他接话说，大多数项目都是在用 Matlab ，自己从未使用过 Theano，2013-2014 年使用过 Torch。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

一些网友也透露 Hinton 也是用 Matlab。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

看来，当时使用 Matlab 的并不少：

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

Sapling AI Content Detector

Sapling.ai推出的免费在线AI内容检测工具

下载

知名的 GAN 之父 Ian Goodfellow 也现身说法，表示当时 Yoshua 的实验室全用 Theano，还说自己在 ImageNet 发布之前，曾为 Alex 的 cuda-convnet 编写了 Theano 捆绑包。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

谷歌 DeepMind 主管 Douglas Eck 现身说自己没用过 Matlab，而是 C++，然后转向了 Python/Theano。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

纽约大学教授 Kyunghyun Cho 表示，2010 年，他还在大西洋彼岸，当时使用的是 Hannes SChulz 等人做的 CUV 库，帮他从 Matlab 转向了 python。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

Lamini 的联合创始人 Gregory Diamos 表示，说服他的论文是吴恩达等人的论文《Deep learning with COTS HPC systems》。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

论文表明 Frankenstein CUDA 集群可以击败 10,000 个 CPU 组成的 MapReduce 集群。

12年前上手深度学习，Karpathy掀起一波AlexNet时代回忆杀，LeCun、Goodfellow等都下场

论文链接：https://proceedings.mlr.press/v28/coates13.pdf

不过，AlexNet 的巨大成功并非一个孤立的事件，而是当时整个领域发展趋势的一个缩影。一些研究人员已经意识到深度学习需要更大的规模和更强的计算能力，GPU 是一个很有前景的方向。Karpathy 写道，“当然，在 AlexNet 出现之前，深度学习领域已经有了一些向规模化方向发展的迹象。例如，Matlab 已经开始初步支持 GPU。斯坦福大学吴恩达实验室的很多工作都在朝着使用 GPU 进行大规模深度学习的方向发展。还有一些其他的并行努力。”

考古结束时，Karpathy 感慨道 “在编写 C/C++ 代码和 CUDA kernel 时，有一种有趣的感觉，觉得自己仿佛回到了 AlexNet 的时代，回到了 cuda-convnet 的时代。”

当下这种 "back to the basics" 的做法与当年 AlexNet 的做法有着异曲同工 ——AlexNet 的作者从 Matlab 转向 CUDA/C++，是为了追求更高的性能和更大的规模。虽然现在有了高级框架，但在它们无法轻松实现极致性能时，仍然需要回到最底层，亲自编写 CUDA/C++ 代码。

对了，当时国内的研究者们都是用什么？欢迎留言讨论。

AI论文降重工具有哪些_一键生成查重通过论文的AI工具推荐

Depseek怎样生成年度业绩分析_Depseek业绩分析模型与数据解读【攻略】

钉钉ai划词工具能否划词生成笔记_钉钉ai划词工具笔记生成功能【方法】

Claude写邮件怎么用_Claude写邮件使用方法详细指南【教程】

Depseek怎样用提示词获取实用建议_Depseek建议类提示词写法【指南】

相关专题

python开发工具

php中文网为大家提供各种python开发工具，好的开发工具，可帮助开发者攻克编程学习中的基础障碍，理解每一行源代码在程序执行时在计算机中的过程。php中文网还为大家带来python相关课程以及相关文章等内容，供大家免费下载使用。

707

2023.06.15

python打包成可执行文件

本专题为大家带来python打包成可执行文件相关的文章，大家可以免费的下载体验。

624

2023.07.20

python能做什么

python能做的有：可用于开发基于控制台的应用程序、多媒体部分开发、用于开发基于Web的应用程序、使用python处理数据、系统编程等等。本专题为大家提供python相关的各种文章、以及下载和课程。

734

2023.07.25

format在python中的用法

Python中的format是一种字符串格式化方法，用于将变量或值插入到字符串中的占位符位置。通过format方法，我们可以动态地构建字符串，使其包含不同值。php中文网给大家带来了相关的教程以及文章，欢迎大家前来阅读学习。

616

2023.07.31

python教程

Python已成为一门网红语言，即使是在非编程开发者当中，也掀起了一股学习的热潮。本专题为大家带来python教程的相关文章，大家可以免费体验学习。

1234

2023.08.03

python环境变量的配置

Python是一种流行的编程语言，被广泛用于软件开发、数据分析和科学计算等领域。在安装Python之后，我们需要配置环境变量，以便在任何位置都能够访问Python的可执行文件。php中文网给大家带来了相关的教程以及文章，欢迎大家前来学习阅读。

547

2023.08.04

python eval

eval函数是Python中一个非常强大的函数，它可以将字符串作为Python代码进行执行，实现动态编程的效果。然而，由于其潜在的安全风险和性能问题，需要谨慎使用。php中文网给大家带来了相关的教程以及文章，欢迎大家前来学习阅读。

573

2023.08.04

scratch和python区别

scratch和python的区别：1、scratch是一种专为初学者设计的图形化编程语言，python是一种文本编程语言；2、scratch使用的是基于积木的编程语法，python采用更加传统的文本编程语法等等。本专题为大家提供scratch和python相关的文章、下载、课程内容，供大家免费下载体验。

695

2023.08.11