干货分享 | 深度学习零基础进阶大法！

像素湾

编者按：新手在开始旅程的时候都会有一个疑问。 没有相关基础，如何学习晦涩难懂的专业知识？ 此前，雷锋网编译《从0到1：我是如何在一年内无师自通学会机器学习的？》 ，一篇关于 Per Harald Borgen 自学之旅的文章。 关于深度学习，GitHub的songrotek也有话要说。 原标题为《深度学习论文阅读路线图》，雷锋网一心、老鲁IO编辑整理，未经允许不得转载。

0.深度学习的“圣经”

说到入门书籍，就不得不提这本由Bengio Yoshua、Ian J. Goodfellow和Aaron Courville合着的《深度学习》。

“这本深度学习教材是一本旨在帮助学生和从业者入门机器学习并专注于深度学习领域的教材。” 值得一提的是，这本麻省理工学院出版的“书”已经出版好几年了。 它在互联网上实时更新和完善，不断补充研究成果和新的参考文献，同时也向公众开放评论和修改。 它的流行甚至被称为深度学习的“圣经”。 这本书目前可以在亚马逊上预订，并将在今年年底交付给您。

《深度学习》阅读网址：

1.研究

Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 被笔者誉为深度学习界的三王。 他们发表在Nature上的《Deep Learning》包含了大量的研究和调查，五星推荐，值得一读！

[1]~hinton/absps/NatureDeepReview.pdf

2. 建立深度学习的知识网络

Geoffrey Hinton 作为 AI leader，目前就职于 Google深度学习英语，他与 E., Simon Osindero 和 Yee-Whye 的杰作《A fast learning algorithm for deep belief nets》更是被奉为标准，不妨拿下看看。

[2]~hinton/absps/ncfast.pdf

此外，他还有一篇文章《Reducing the dimensionality of data with neural networks》以第一作者署名，可以说是深度学习的里程碑。

[3] ~hinton/science.pdf

3. ImageNet 革命

当你看完以上论文，相信你对深度学习有了一个大概的了解。 那么深度学习的突破口在哪里呢？ 2012年，Krizhevsky的“Imagenet classification with deep convolutional neural networks”预示着神经网络的出现和发展取得了突破性的研究进展。 来不及了干货分享 | 深度学习零基础进阶大法！，赶紧上车深度学习英语，推荐指数五颗星。

[4]

网络的深度有多重要？ 《Very deep convolutional networks for large-scale image recognition》是牛津大学视觉几何组（VGG）Karen Simonyan和Andrew Zisserman在2014年写的一篇论文，主要讨论了深度对于网络的重要性； 并建立了一个19层的深度网络，取得了不错的效果。 该论文在 ILSVRC 中排名第一，在分类中排名第二。

[5]

如果你想了解神经网络结构是如何改进的，你必须阅读这篇文章。 Szegedy 和 Christian 都是当代著名的计算机科学家。 他们在 2015 年合着了“Going deeper with convolutions”。这篇论文是为 ImageNet2014 竞赛而写的。 论文中的方法在比赛中获得第一名，包括task1分类任务和task2检测任务。 本文主要关注用于计算机视觉的高效深度神经网络结构。 通过改进神经网络的结构，可以在不增加计算资源需求的情况下提高网络的深度，从而达到提高效果的目的。

[6]

在第六届年度 ImageNet 图像识别测试中，微软研究院的计算机化图像识别系统在多个类别中名列前茅，击败了来自谷歌、英特尔、高通、腾讯以及初创公司和学术实验室的系统。 微软的获胜系统名为深度残差学习图像识别，由微软研究人员 Kaiming He、Xiangyu Zhang、Shaoqing Ren 和 Jian Sun 组成的团队开发。 所以，记录团队系统开发经验的《Deep Residual Learning for Image Recognition》绝对是学习必备，五星推荐。

[7]

4.语音识别好

Hinton和Geoffrey等技术专家合着的《Deep neural networks for acoustic modeling in speech recognition: The shared views of four research group》是语音识别领域的巨大突破。 它结合了四个小组使用深度神经网络和声学建模完成的语音识别示例。

[8]

除了以上论文，《Speech recognition with deep recurrent neural networks》的大师Geoffrey Hinton也在思索如泉涌。 他向我们介绍了深度循环神经网络 (RNN) 在语音识别中的重要性。

[9]

想必我们对语音输入并不陌生，但这怎么可能呢？ 这篇名为“Towards End-To-End Speech Recognition with Recurrent Neural Networks”的论文由 Graves、Alex 和多伦多大学教授 Navdeep Jaitly 共同撰写。 它向我们描述了一个没有中继语音重建的音频到文本识别系统。

[10]

如果你想问谷歌语音识别系统的源头是什么，那么我一定会推荐你这篇由 Sak 和 Hasim 等多位专家撰写的名为《Fast and accurate recurrent neural network acoustic models for speech recognition》的论文，这是一篇谷歌语音识别系统的重要理论基础。

[11]

百度近日公布了其硅谷人工智能实验室（SVAIL）的一项新研究成果，名为Deep Speech 2。Deep Speech通过使用单一的学习算法实现了准确识别英语和中文的能力。 这一成果发表在论文《Deep speech 2: End-to-end speech recognition in english and mandarin》中。

[12]

本月 18 日，微软人工智能与研究部的研究人员和工程师发表了一篇名为《在会话语音识别中实现人类平等》的论文。 论文显示，微软的对话语音识别技术在行业标准Switchboard语音识别基准测试中实现了低至5.9%的单词错误率（word error rate，简称WER），与人类专业速记员的水平相当。第一次。 胜过大多数人的表现。 雷风网之前也提到过，可以点击原文查看详情。 同时，也刷新了自己一个月前创造的6.3%的记录。 微软首席语音科学家黄学东是该研究的参与者之一。

[13]

看完上面推荐的论文深度学习英语，想必你对深度学习的历史有了一个基本的了解。 它的基本模型架构（CNN/RNN/LSTM）和深度学习如何应用到图像和语音识别上当然不是问题。 下一部分，我们将通过新一批的论文深度学习英语，让大家对深度学习的方式以及深度学习在不同领域的应用有一个清晰的认识。 由于第二部分的论文开始向细化的方向延伸，大家可以根据自己的研究方向进行选择。