第十讲_Perceptron

写在前面

感知机内容不多,老师只用了40min讲完,可以多看看博客笔记,也没有作业,这块不是重点

[1]https://luweikxy.gitbook.io/machine-learning-notes/perceptron [2]https://www.jiqizhixin.com/graph/technologies/f9849d6c-6262-4c1f-8f42-6d976be17161

Perceptron介绍

感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络,是一种二元线性分类器

Frank Rosenblatt给出了相应的感知机学习算法,常用的有感知机学习、最小二乘法和梯度下降法。譬如,感知机利用梯度下降法对损失函数进行极小化,求出可将训练数据进行线性划分的分离超平面,从而求得感知机模型

感知机主要的本质缺陷是它不能处理线性不可分问题

https://www.jiqizhixin.com/graph/technologies/f9849d6c-6262-4c1f-8f42-6d976be17161

数据

感知机是一个分类算法,常用于二分类,用+1和-1来表示这两个类,因此数据与逻辑回归的数据一致,不过y的标签用+1和-1来区分,这是不同点

回归与分类的概念区分

回归的结果是连续的,分类的结果是离散的

模型

使用的模型是一个符号函数,sign(x),其中x是输入向量,s是符号函数,取值为-1或1,如果x大于0,则输出为1,否则输出为-1

损失函数

如果分类分对了,那么认为该样本的损失为0

只考虑误分类点,感知机的学习策略是在假设空间中选取使损失函数最小的模型参数w、b,即感知机模型

上述公式中的y代表分类错误的样本,标签全为-1

由于每次更新只考虑一个样本(随机梯度下降),因此只需要计算损失函数即可,用不到代价函数

从距离上考虑损失函数,分类错误的点距离平面越远,损失越大

优化算法

使用的是随机梯度下降算法

SUMMARY


第十讲_Perceptron
http://jrhu0048.github.io/2024/10/26/ji-qi-xue-xi/di-shi-jiang-perceptron/
作者
JR.HU
发布于
2024年10月26日
更新于
2024年12月27日
许可协议