干货分享 | 深度学习零基础进阶大法！

pixabay

编者按：新手都会有一个疑问：如果没有相关基础，怎么学习晦涩的专业知识？此前雷锋网编译过《从0到1：一年无师自通，我是如何学会机器学习的？》，这篇文章讲述了Per Harald Borgen的自学历程。至于深度学习，来自GitHub的songrotek也有话要说。原文标题为《深度学习论文阅读路线图》，由雷锋网易信和老鲁IO整理编辑，未经允许，禁止转载。

0.深度学习的“圣经”

说到入门书籍，不得不提Bengio Yoshua、Ian J. Goodfellow和Aaron Courville合著的《深度学习》。

“这本深度学习教材旨在帮助学生和从业者入门机器学习零基础如何学习英语，重点关注深度学习领域。”值得一提的是，这本由麻省理工学院出版的“书”一直在实时在线更新完善，不断补充研究成果和新的参考文献，并公开接受公众评论和修订。它非常受欢迎，甚至被誉为深度学习的“圣经”。年底前它将交付给你们。

深度学习阅读网址：

1. 研究

Yann LeCun、Yoshua Bengio、Geoffrey Hinton被作者誉为深度学习领域的三王，他们发表在Nature上的《深度学习》一文中对此进行了大量的研究和探讨，五星推荐，值得一读！

[1]~hinton/absps/NatureDeepReview.pdf

2. 构建深度学习的知识网络

作为人工智能领域的领军人物，Geoffrey Hinton 目前就职于 Google，他与 E.、Simon Osindero 和 Yee-Whye 合著的代表作《深度信念网络的快速学习算法》被誉为圣经，大家可以看看。

[2]~hinton/absps/ncfast.pdf

此外，他还是一篇题为“利用神经网络降低数据维数”的文章的第一作者，该文章可以说是深度学习的一个里程碑。

[3]〜hinton / science.pdf

3.ImageNet 革命

看完以上几篇论文，相信大家对深度学习已经有了大致的了解。那么深度学习的突破点到底是什么呢？2012年Krizhevsky的《用深度卷积神经网络实现Imagenet分类》预示着神经网络的发展。互联网的出现和发展，让深度学习有了突破性的研究进展。来不及了零基础如何学习英语，赶紧上手吧。推荐指数五颗星。

[4]

深度对网络到底有多重要？《Very deep convolutional networks for large-scale image identification》是2014年牛津大学视觉几何组（VGG）的Karen Simonyan和Andrew Zisserman撰写的一篇论文零基础如何学习英语，主要讨论了深度对网络的重要性；并构建了一个19层的深层网络，取得了不错的效果。该论文在ILSVRC上获得了定位第一名、分类第二名的成绩。

[5]

如果你想了解神经网络结构是如何改进的，一定要看这篇文章。Szegedy 和 Christian 都是当代著名的计算机科学家，他们在 2015 年合作发表了论文《Goingdepth with convolutions》。这篇论文是为 ImageNet 2014 竞赛而写的，论文中的方法获得了竞赛第一名，包括 task1 分类任务和 task2 检测任务，这篇论文主要针对计算机视觉研究高效的深度神经网络结构，实现了不同网络深度的同时增加计算资源的需求零基础如何学习英语，从而达到提高效果的目的。

[6]

在第六届 ImageNet 图像识别测试中，微软研究院的计算机图像识别系统在多个测试类别中均处于领先地位，击败了来自谷歌、英特尔、高通、腾讯以及一些初创公司和学术实验室的系统。微软的获胜系统名为“用于图像识别的深度残差学习”，由包括何凯明、张翔宇、任少卿和孙健在内的微软研究员团队开发。“用于图像识别的深度残差学习”绝对是学习的必备书籍。我五星推荐。

[7]

4. 语音识别很棒

Hinton 与 Geoffrey 等技术专家合著的《深度神经网络在语音识别中的声学建模：四个研究小组的共同观点》一书是语音识别领域的一次巨大突破，结合了四个小组利用深度神经网络和声学建模完成的语音识别实例。

[8]

除了上述论文之外，Geoffrey Hinton 在他的文章《Speech identification with deep recurrent neurons》中也有很多想法，他在文中向我们介绍了深度循环神经网络（RNN）在语音识别中的重要性。

[9]

我们都熟悉语音输入，但它是如何实现的呢？这篇题为“利用循环神经网络实现端到端语音识别”的论文由 Graves、Alex 和多伦多大学教授 Navdeep Jaitly 共同撰写。我们描述了一种不需要中继语音重建的音频到文本识别系统。

[10]

如果你要问Google的语音识别系统的理论来源是什么，我一定会向你推荐这篇由Sak、Hasim等多位专家撰写的论文《Fast and accurate recurrent neurons acoustic models for voice identification》干货分享 | 深度学习零基础进阶大法！，它是Google语音识别系统的重要理论基础之一。

[11]

百度近日公布了其硅谷人工智能实验室（SVAIL）的最新研究成果——Deep Speech 2。Deep Speech通过单一学习算法实现了对英语和中文的精准识别，论文发表在《Deep Speech 2：英文和普通话端到端语音识别》上。

[12]

本月18日，微软人工智能与研究部门的研究人员和工程师发表了一篇题为《在对话式语音识别中实现人类水平》的论文。论文显示，微软对话式语音识别技术在业界标准的Switchboard语音识别基准测试中表现优异，单词错误率（WER）低至5.9%，首次与人类专业速记员水平持平，优于大多数人的表现。点击此处阅读原文。同时，还打破了自己一个月前创下的6.3%的纪录。微软首席语音科学家黄学东是这项研究的参与者之一。

[13]

看完上面推荐的论文，你一定对深度学习的历史有了基本的了解，而它的基本模型架构（CNN/RNN/LSTM）以及如何将深度学习应用到图像和语音识别中都不再是问题。在下一部分中，我们将用一批新的论文让你清晰地了解深度学习的方法及其在不同领域的应用。由于第二部分的论文开始向详细的方向延伸，你可以根据自己的研究方向酌情选择。