深度学习课程讲解目录

第一章 究竟什么是深度学习

第1节​ 直观理解

第2节​ 从三个视角理解深度学习

第3节​ 深度学习工作机制及优劣势

第二章 图像识别及KNN算法

第1节​ 图像识别的挑战及数据驱动的有监督方法

第2节​ 误差分解及KNN算法原理与表现

第三章 线性分类、SVM、Softmax用于图像识别

第1节​ 线性分类器的三个观点

第2节​ 铰链损失函数（SVM多分类）

第3节​ Softmax分类器

第四章 优化与梯度

第1节​ 三种普通梯度下降

第2节​ 动量SGD和Nesterov加速梯度法

第3节​ 自适应学习速率

第4节​ 透彻讲解Adam优化算法

第5节​ 计算图实现误差反传

第6节​ 标量对矩阵的雅可比（ Jacobia ）矩阵

第五章 卷积神经网络

第1节​ 卷积核的函数作用

第2节​ 卷积核数量与通道的区别与联系

第3节​ CNN的特征图尺寸计算

第4节​ 卷积层的误差反传算法

第5节​ 池化层

第6节​ 激活函数

第六章 卷积神经网络训练技巧

第1节​ relu激活函数的魔力

第2节​ 内部协变量偏移

第3节​ 批归一化解决协变量偏移

第4节​ Dropout

第5节​ 批归一化带来的诸多好处

第七章 卷积神经网络结构

第1节​ AlexNet

第2节​ 卷积神经网络的感受野

第3节​ VGGNet

第4节​ GoogLeNet重要结构--1×1卷积

第5节​ 赫布学习规则

第6节​ GoogLeNet

第7节​ Identity Mapping

第8节​ ResNet全景架构

第八章 递归神经网络

第1节​ 为什么要用递归神经网络（RNN）

第2节​ RNN计算图

第3节​ RNN前向与反向传播

第4节​ LSTM及其变种的原理

第九讲 基于深度学习的语言模型

第1节​ 词向量

第2节​ 词的相似性

第3节​ 潜在语义分析LSA

第4节​ Word2Vec

第5节​ Glove词向量

第6节​ seq2seq

第7节​ Encoder-Decoder for Seq2seq

第8节​ 为什么要用Attention?

第9节​ 注意力机制的数学原理

第10节​ 动画演示注意力机制

第十讲 深度学习应用于NLP的高级议题

第1节​ 注意力机制的应用--指针网络

第2节​ 递归神经网络是否必须？

第3节​ Transformer的多头注意原理

第4节​ Transformer的三个矩阵K、V、Q

第5节​ Transformer的位置编码Positional Encoding

第6节​ 深度语境化词语表示ELMo

第7节​ BERT四大创新思想

第8节​ BERT双向遮避语言模型

第9节​ BERT模型架构