第七讲_神经网络
Neural Network
使用神经网络进行多分类
神经网络只改变了模型,使用很复杂的模型即可,其他方面都没有改变
神经元的概念
线性神经元
神经网络本质上都是多元复合函数!!!!!
,是对模型的改变
不加入激活函数的后果:无论多少层神经网络,最后得到的都是线性模型,学习能力比较差
完全体的神经网络模型如下:
常见的激活函数:
全连接神经网络:可以实现各种组合,模型复杂度高,学习能力强
一层全连接层的公式表达如下:
神经网络可以理解为把输入向量
变成了特征向量
,理解为特征提取器
,把样本中的特征提取出来
feature vector = feature extractor(input vector)
最后再对抽取出来的特征进行softmax变换
,就变成了线性可分
的(针对多分类问题)
- softmax变换的作用是将输出结果
转换为概率
-
每一层sigmoid函数的作用是将线性模型转为非线性
如果是针对二分类问题,将抽取出来的特征进行sigmoid
变换即可,就没必要使用softmax
变换了
如果是针对回归类问题,则不需要使用激活函数,直接预测结果
输出层是一个softmax回归,数学结构如下:
损失函数
神经网络的损失函数还是沿用了交叉熵损失函数
下面对于梯度下降的公式推导有点点复杂...
反向第一层的推导相对来说较为简单:
反向第二层:
Back Propagation 总结:
矩阵形式表示:
神经网络公式总结:
https://www.bilibili.com/video/BV1h34y1M7QZ?t=7631.3
第七讲_神经网络
http://jrhu0048.github.io/2024/10/23/ji-qi-xue-xi/di-qi-jiang-shen-jing-wang-luo/