课程大纲：

Dive into Deep Learning培训

1 基础数学知识

2 多层感知机

3 卷积神经网络

4 线性神经网络

5 深度学习计算

6 前沿神经网络

阶段 1 预备知识

1
课程说明
2
数据操作
3
Pandas 数据预处理
4
线性代数
5
微分、偏导数、梯度和链式法则
6
自动求梯度
7
概率的简单介绍
8
查阅文档

阶段 2 线性神经网络

9
线性回归介绍
10
线性回归从零实现
11
线性回归简洁实现
12
Fashion-MNIST 图像分类
13
Softmax 回归从零实现
14
Softmax 回归简洁实现

阶段 3 多层感知机

15
多层感知机介绍
16
多层感知机从零实现
17
多层感知机简洁实现
18
模型选择，欠拟合和过拟合
19
权重衰减
20
Dropout 机制
21
数值稳定性和模型初始化
22
Kaggle 预测房价实战项目

阶段 4 深度学习计算

23
模型的构造
24
参数访问、初始化和共享
25
自定义网络层
26
文件读取和存储

阶段 5 卷积神经网络

27
卷积层介绍
28
填充和步幅
29
多通道输入和输出卷积层
30
池化层介绍
31
LeNet 卷积神经网络

阶段 6 前沿卷积神经网络

32
AlexNet 深度卷积神经网络
33
VGG 使用重复元素网络
34
NiN 网络中的网络
35
GoogleNet 拥有并行连接的网络
36
批量归一化
37
ResNet 残差网络
38
DenseNet 稠密连接网络

第一部分：会简单介绍 PyTorch 的使用和一些学习深度学习基础的数学知识。

第二部分：会应用之前学到的知识，从零开始实现线性回归和分类问题，同时也会使用 PyTorch 中的高级 API 进行实现。

第三部分：会接触深度神经网络，会实现多层感知机，以及学习什么是过拟合，以及如何进行处理。

第四部分：会介绍如何使用 PyTorch 搭建深度模型，更进一步对 PyTorch 进行说明。

第五部分：介绍卷积网络的相关知识，包括卷积层的基础知识，池化层。最后会实现 LeNet。

第六部分：关注前沿的卷积网络，会讲到最新的卷积网络残差网络 ResNet，稠密连接网络 DenseNet 的实现。