第十讲_Perceptron
写在前面
感知机内容不多,老师只用了40min讲完,可以多看看博客笔记,也没有作业,这块不是重点
[1]https://luweikxy.gitbook.io/machine-learning-notes/perceptron [2]https://www.jiqizhixin.com/graph/technologies/f9849d6c-6262-4c1f-8f42-6d976be17161
Perceptron介绍
感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时所发明的一种人工神经网络。它可以被视为一种最简单形式的前馈神经网络,是一种二元线性分类器
Frank Rosenblatt给出了相应的感知机学习算法,常用的有感知机学习、最小二乘法和梯度下降法。譬如,感知机利用梯度下降法对损失函数进行极小化,求出可将训练数据进行线性划分的分离超平面,从而求得感知机模型
感知机主要的本质缺陷是它不能处理线性不可分问题
https://www.jiqizhixin.com/graph/technologies/f9849d6c-6262-4c1f-8f42-6d976be17161
数据
感知机是一个分类算法,常用于二分类,用+1和-1来表示这两个类,因此数据与逻辑回归的数据一致,不过y的标签用+1和-1来区分,这是不同点
回归与分类的概念区分
回归的结果是连续的,分类的结果是离散的
模型
使用的模型是一个符号函数,sign(x),其中x是输入向量,s是符号函数,取值为-1或1,如果x大于0,则输出为1,否则输出为-1
损失函数
如果分类分对了,那么认为该样本的损失为0
只考虑误分类点,感知机的学习策略是在假设空间中选取使损失函数最小的模型参数w、b,即感知机模型
上述公式中的y代表分类错误的样本,标签全为-1
由于每次更新只考虑一个样本(随机梯度下降),因此只需要计算损失函数即可,用不到代价函数
从距离上考虑损失函数,分类错误的点距离平面越远,损失越大
优化算法
使用的是随机梯度下降算法