机器心脏报告
机器之心编辑部
为了重拾对AI开源和教育的热情，Andrej Karpathy在家里录制了一门关于反向传播的课程。
前段时间，特斯拉AI高级总监、自动驾驶负责人安德烈·卡帕西(Andrej Karpathy)在推特上宣布离职，并称从今年3月开始，他已经休假4个月了。
假期里，卡帕西也没闲着，在家录制了一门课程。视频时长2小时25分钟。以微图形为基础，详细介绍了神经网络和反向传播算法。
对于这门课程，卡帕西自信地说:“这是过去八年来该领域对神经网络和反向传播的最好解释。」
视频地址:https://twitter.com/karpathy/status/1559672719414681601
卡帕西还在个人推特上打了一个赌:只要你懂Python，能依稀记得高中时求指导的知识，如果看完这个视频还不明白反向传播和神经网络的核心点，那我就吃一只鞋。
言下之意，这门课程只要求观众掌握基本的Python编程技巧和高中阶段的微积分简单知识。非常适合零基础的学生在线学习。
有网友调侃，虽然想看卡帕西直播吃鞋，但他相信卡帕西的视频课程不会让人失望。
课程内容
近两个半小时的视频按照时间段分为近20个小部分，主要包括以下内容。
micrograd项目概述。2020年4月，Karpathy开放了微自动签名引擎micrograd，其中用100行代码实现了动态构建DAG的反向传播算法，用50行代码实现了PyTorch API这样的库。目前，micrograd项目的GitHub Star已经达到2.2k..
项目地址:https://github.com/karpathy/micrograd/
然后Karpathy介绍了只有一个输入的简单函数的导数和有多个输入的简单函数的导数，启动了micrograd的核心值对象及其可视化方法，并给出了两个手工反向传播的例子。
接下来，卡帕西系统地介绍了:
实现单次操作的反向传播；
对整个表达式图实现反函数；
修复反向传播错误；在一个节点中出现多次；
用更多的操作替换tanh激活函数；
用PyTorch实现上述操作，并与micrograd进行比较；
用micrograd构建神经网络库(MLP)；
创建一个微观数据集，写一个损失函数；
收集神经网络的所有参数；
手动做梯度下降优化，训练网络。
最后，卡帕西总结了反向传播与现代神经网络的关系。此外，Karpathy还在视频中探索了PyTorch中tanh激活功能的反向传播机制。
安德烈·卡帕西
个人主页:https://karpathy.ai/
2005年至2009年，安德烈·卡帕西就读于加拿大多伦多大学，主修计算机科学和物理，辅修数学。在这里，他第一次接触到深度学习，听了辛顿的课。
2009年至2011年，卡帕西就读于加拿大不列颠哥伦比亚大学。他的导师是计算机系教授Michiel van de Panne，主要研究物理仿真中敏捷机器人的机器学习。
2011年至2016年，卡帕西博士在斯坦福大学学习，师从著名人工智能学者李菲菲。他主要研究卷积/循环神经网络及其在计算机视觉、自然语言处理和交叉领域的应用。期间设计并担任斯坦福首个深度学习课程《CS231n:卷积神经网络与视觉识别》的主讲师。
同时，卡帕西有三次实习经历。2011年进入发展初期的Google Brain实习，致力于视频领域的大规模无监督学习。然后，在2013年，他再次在谷歌研究院实习，从事YouTube视频的大规模监督研究。2015年在DeepMind实习，参与了一个深度强化学习团队的工作。
卡帕西是OpenAI的创始成员和研究科学家。仅仅一年多之后的2017年，卡帕西接受了马斯克的邀请加入特斯拉，接替了时任特斯拉自动驾驶负责人、苹果Swift语言和LLVM编译器之父的克里斯·拉特纳。
在五年的时间里，卡帕西单枪匹马地为自动驾驶仪的发展做出了贡献。随着特斯拉从最初的自动驾驶慢慢扩展到更广泛的人工智能领域，卡帕西也被提升为特斯拉的高级AI总监，直接向马斯克汇报。
根据LinkedIn上的信息，卡帕西在7月份离开了特斯拉。
至于离开特斯拉，下一步做什么，卡帕西之前透露过，目前还没有具体的安排，但他希望重拾自己长久以来对AI技术工作、开源和教育的热情。
掌握“声纹识别技术”:前20小时给我，后9980小时……
推出中文课程《声纹识别:从理论到编程实践》，由Google声纹团队负责人王泉博士主讲。
视频内容为12小时。重点介绍了基于深度学习的声纹识别系统，包含了大量学术界和工业界的最新研究成果。
同时，课程配有32个课后小测验、10个编程练习和10个大作业，保证你在课程结束时可以自己从零开始构建一个完整的声纹识别系统。
课程仍在第一周折扣。欢迎对声纹感兴趣的同学一起学习。
点击原文，了解更多课程内容。
剧终
授权请联系本微信官方账号。
投稿或寻求报道:content@jiqizhixin.com
