第七讲_神经网络

Neural Network

使用神经网络进行多分类

神经网络只改变了模型,使用很复杂的模型即可,其他方面都没有改变

神经元的概念

线性神经元

神经网络本质上都是多元复合函数!!!!!,是对模型的改变

不加入激活函数的后果:无论多少层神经网络,最后得到的都是线性模型,学习能力比较差

完全体的神经网络模型如下:

常见的激活函数:

全连接神经网络:可以实现各种组合,模型复杂度高,学习能力强

一层全连接层的公式表达如下:

神经网络可以理解为把输入向量变成了特征向量,理解为特征提取器,把样本中的特征提取出来

feature vector = feature extractor(input vector)

最后再对抽取出来的特征进行softmax变换,就变成了线性可分的(针对多分类问题) - softmax变换的作用是将输出结果转换为概率 - 每一层sigmoid函数的作用是将线性模型转为非线性

如果是针对二分类问题,将抽取出来的特征进行sigmoid变换即可,就没必要使用softmax变换了

如果是针对回归类问题,则不需要使用激活函数,直接预测结果

输出层是一个softmax回归,数学结构如下:

损失函数

神经网络的损失函数还是沿用了交叉熵损失函数

下面对于梯度下降的公式推导有点点复杂...

反向第一层的推导相对来说较为简单:

反向第二层:

Back Propagation 总结:

矩阵形式表示:

神经网络公式总结:

https://www.bilibili.com/video/BV1h34y1M7QZ?t=7631.3


第七讲_神经网络
http://jrhu0048.github.io/2024/10/23/ji-qi-xue-xi/di-qi-jiang-shen-jing-wang-luo/
作者
JR.HU
发布于
2024年10月23日
更新于
2024年10月25日
许可协议