大神Yann LeCun亲授：如何自学深度学习技术并少走弯路

编者按：深度学习领域的领军人物Yann LeCun是​​Quora上非常活跃的答主，乐于分享自己的经验。 例如，当有人问“你最喜欢的机器学习算法是什么？”时，Yann LeCun 的回答是“Backdrop”。 深度学习是一个新兴领域。 许多人想学习深度学习英语，但不知道如何开始。 所以Quora上有很多关于“如何学习深度学习技术”的问题。 Yann LeCun在部分问题下方给出了自己的一些看法。 以此整理编入本文深度学习英语，供读者参考。

问：对于自学机器学习技术，您有什么建议？

网上有很多关于机器学习的资料、教程和视频课程，包括 Coursera 上的一些大学课程。 这里主要讲一下深度学习领域。

你可以在线收听一些指导课程和讲座，对深度学习有一个大概的了解。 我推荐的有：

法语网站：Accueil

英语网站：首页

问：对于想成为深度学习研究科学家的本科生，您有什么建议？

首先，尽你最大的能力，参加所有连续的数学和物理课程。 如果一定要在《iOS编程》和《量子力学》之间二选一，那一定要选后者。 在任何情况下，都要学习微积分 (I)、微积分 (II)、微积分 (III)、线性代数、概率论和统计学，以及尽可能多的物理课程。 另外，一定要学习编程。

为什么物理学如此重要？ 因为物理学发明了许多数学方法来模拟现实世界。 例如，贝叶斯推理在本质上与统计力学相同，而反向传播可以看作是经典力学中拉格朗日量的简单版本。 应用。 图模型中的正向算法是量子力学中广泛使用的路径积分。 物理学，可以教你如何使用傅里叶变换（“海森堡不确定性原理”的基石）、最大熵原理、配分函数、蒙特卡洛方法、热处理、玻尔兹曼分布、动力系统、混沌等。 .

选择一个你感兴趣的 AI 相关问题。

然后独立思考。

一旦形成了自己的想法，就开始阅读围绕该问题的相关文献。

您会发现 (a) 您之前的想法有点幼稚，但是 (b) 您开始对问题的看法有所不同。

在你就读的学校，找一位可以帮助你明确想法的教授。 这可能很困难，因为教授们很忙，没有太多时间指导本科生。 业余时间多的教授往往年轻，年长的教授往往不再活跃于研究圈。

如果你找到一位没有时间指导你的合适教授，那么你可以在他或她的实验室“勾搭”一名博士后或博士生。

询问教授您是否可以参加他或她实验室的会议和研讨会，或者只是旁听他们的会议。

在本科毕业之前，试着写一篇关于你的研究工作的论文，或者在网上发布一些开源代码。

现在，您可以申请博士课程。 不要在意所谓的学校“排名”，一定要找一位在你感兴趣的领域里有声望的教授深度学习英语，他的论文你很喜欢或者很欣赏。

可以同时申请几个学校的PhD项目，当然选择的时候可以参考上面的标准。 在你的申请信中，你应该提到你很想和这位教授一起工作，但也想和其他教授一起工作。

请您的本科教授为您写一封推荐信。 如果你的本科教授认识你申请的博士课程的教授，那将是有利的。

如果你最喜欢的博士项目没有被录取，你可以在Facebook或谷歌工作，并尝试成为FAIR或谷歌大脑实验室的工程师，协助实验室的科学家。

在公司实验室发表一篇关于某个主题的论文，然后重新申请博士项目，并请 FAIR 或 Google Brain 实验室的科学家为你写推荐信。

Q：未来5-10年深度学习英语，AI会朝什么方向发展？

有很多人在不同领域工作，取得了很好的进展：

深度学习结合推理和规划。

基于模型的深度强化学习（涉及无监督预测学习）。

通过可区分的记忆模块整合加强递归神经网络（例如，记忆网络）：

一种。 内存网络 (公平) (URL: %3AumqufdRvDiIC)

b. 堆栈增强 RNN（公平）（URL：%3AgKiMpY-AVTkC）

C。 神经图表记录器（DeepMind）（网址：）

d. 端到端 MemNN（公平/纽约大学）（URL：%3AKbBQZpvPDL4C）

通过对抗训练获得的生成（预测）模型。

“微编程”：其核心思想——将程序（或电路）看成是一个微模块，可以通过Backdrop进行训练。 这一思想表明，深度学习不仅可以学习识别模型（如前馈神经网络），还可以生成算法（如循环算法、递归算法、子程序算法等）。 一些相关文章可以从 DeepMind、FAIR 和其他来源获得，但是，这些只是初步结果。

分层规划和分层强化学习：这是学习将复杂任务拆分为一些简单子任务的问题，这是所有智能系统的要求。

对外部事物的预测模型的无监督学习（例如，视频预测）。

如果未来几年人工智能能够在这些方向取得重大进展，将会涌现出一大批更智能的人工智能体，应用于对话系统、问答、自适应机器人控制与规划等领域。

建立无监督学习方法是一个很大的挑战。 但它将允许大型神经网络通过观看视频和阅读书籍来“了解现实世界是如何运作的”，而无需直接的人工注释数据。

这最终将导致机器对现实世界有足够的了解，从而开始具备人类的“常识”。 实现这个目标大神Yann LeCun亲授：如何自学深度学习技术并少走弯路，可能需要5年、10年、20年，甚至更长的时间，具体时限我们还不能确定。