第七讲_神经网络

Neural Network

使用神经网络进行多分类

神经网络只改变了模型，使用很复杂的模型即可，其他方面都没有改变

神经元的概念

线性神经元

神经网络本质上都是多元复合函数!!!!!，是对模型的改变

不加入激活函数的后果：无论多少层神经网络，最后得到的都是线性模型，学习能力比较差

完全体的神经网络模型如下：

常见的激活函数：

全连接神经网络：可以实现各种组合，模型复杂度高，学习能力强

一层全连接层的公式表达如下：

神经网络可以理解为把输入向量变成了特征向量，理解为特征提取器，把样本中的特征提取出来

feature vector = feature extractor(input vector)

最后再对抽取出来的特征进行softmax变换，就变成了线性可分的（针对多分类问题） - softmax变换的作用是将输出结果转换为概率 - 每一层sigmoid函数的作用是将线性模型转为非线性

如果是针对二分类问题，将抽取出来的特征进行sigmoid变换即可,就没必要使用softmax变换了

如果是针对回归类问题，则不需要使用激活函数，直接预测结果

输出层是一个softmax回归，数学结构如下：

损失函数

神经网络的损失函数还是沿用了交叉熵损失函数

下面对于梯度下降的公式推导有点点复杂...

反向第一层的推导相对来说较为简单：

反向第二层：

Back Propagation 总结：

矩阵形式表示：

神经网络公式总结:

https://www.bilibili.com/video/BV1h34y1M7QZ?t=7631.3