deep-learning-notes

Some notes and references about deep learning

1天搞懂深度学习

台大教授李宏毅编写的deep learning入门读物。深入浅出的介绍了deep learning基础框架（神经网络，BP），衍生框架（CNN，RNN）和应用场景。内容截止到2015年（Alpha Go出道那段时间）为止。

60页游有个视角的图，很赞。

UFLDL Turtorial

官方宣传网站：http://deeplearning.stanford.edu/，斯坦福站台，看起来很学术！ 该课程全称Unsupervised Feature Learning and Deep Learning，由Andrew Ng和一帮斯坦福的学生创建，有基于matlab的试验，可能与Coursera上ML练习类似。

斯坦福CS231n—深度学习与计算机视觉

相关资料

Coursera课程：Neural Networks for Machine Learning

2017年8月7日开课，多伦多大学,官方资料

三种网络架构

• Feed-Foward
• Recurrent
• Symmetrically connected netowrkd with hidden units

edX课程：Deep Learning Explained

直接开始，微软提供的课程。

课程大纲

• 1 Introduction and Overview
• 2 Multi-class classification using Logistic Regression
• 3 Image Recognition with Multi-layer Perceptron
• 4 Image Recognition using Convolution Neural Network
• 5 Forecast Time Data using a Recurrent Neural Network (RNN)
• 6 Text Classification with RNN and Long Short Term Memory (LSTM)

这门课程学习完成了，一共花了三周左右，大概总共20个小时。它将DNN中的主要技术，以黑盒子的形式介绍，并且提供非常完备的试验环境，用于试验各种参数对模型效果的影响，给人非常感性的认识。学完之后，知道了CNN，RNN，LSTM这些可以做什么，不能做什么。

这门课程作为DNN的入门课程，个人感觉非常适合，不足的是理论推导基本没有，不知道为什么模型就这样工作了。当然，你不能对一个免费的课程要求更多，而且DNN理论支撑本来就没有，人们目前也不能完全解释为什么搞这么深，模型就工作的非常好。

后续需要继续搞懂的点

1. DNN学习机制，主要是BP算法
2. 实践是检验真理的唯一标准。使用TensorFlow，RNN时序分类，应用到smoba自动审判。

DeepLearning Book

只提供在线阅读版本,深度学习三大神（Ian Goodfellow, Yoshua Bengio and Aaron Courville）写的书。晚上好心人整理的PDF版本。