python实现感知器算法详解


Posted in Python onDecember 19, 2017

在1943年,沃伦麦卡洛可与沃尔特皮茨提出了第一个脑神经元的抽象模型,简称麦卡洛可-皮茨神经元(McCullock-Pitts neuron)简称MCP,大脑神经元的结构如下图。麦卡洛可和皮茨将神经细胞描述为一个具备二进制输出的逻辑门。树突接收多个输入信号,当输入信号累加超过一定的值(阈值),就会产生一个输出信号。弗兰克罗森布拉特基于MCP神经元提出了第一个感知器学习算法,同时它还提出了一个自学习算法,此算法可以通过对输入信号和输出信号的学习,自动的获取到权重系数,通过输入信号与权重系数的乘积来判断神经元是否被激活(产生输出信号)。

python实现感知器算法详解

一、感知器算法

我们将输入信号定义为一个x向量,x=(x1,x2,x3..),将权重定义为ω=(ω1,ω2,ω3...)其中ω0的值为,将z定义为为两个向量之间的乘积,所以输出z=x1*ω1 + x2*ω2+....,然后将z通过激励(激活)函数,作为真正的输出。其中激活函数是一个分段函数,下图是一个阶跃函数,当输入信号大于0的时候输出为1,小于0的时候输出为0,这里的阶跃函数阈值设置为0了。定义激活函数为Φ(z),给激活函数Φ(z)设定一个阈值θ,当激活函数的输出大于阈值θ的时候,将输出划分为正类(1),小于阈值θ的时候将输出划分为负类(-1)。如果,将阈值θ移到等式的左边z=x1*ω1+x2*ω2+....+θ,我们可以将θ看作为θ=x0*ω0,其中输出x0为1,ω0为-θ。将阈值θ移到等式的左边之后,就相当于激活函数的阈值由原来的θ变成了0。

python实现感知器算法详解

感知器算法的工作过程:

1、将权重ω初始化为零或一个极小的随机数。

2、迭代所有的训练样本(已知输入和输出),执行如下操作:

a、通过权重和已知的输入计算输出

b、通过a中的输出与已知输入的输出来更新权重

python实现感知器算法详解

权重的更新过程,如上图的公式,其中ω与x都是相对应的(当ω为ω0的时候,x为1),η为学习率介于0到1之间的常数,其中y为输入所对应的输出,后面的y(打不出来)为a中所计算出来的输出。通过迭代对权重的更新,当遇到类标预测错误的情况下,权重的值会趋于正类别和负类别的方向。

python实现感知器算法详解

第一个公式表示的是,当真实的输出为1的情况下,而预测值为-1,所以我们就需要增加权重来使得预测值往1靠近。

第二个公式表示的是,当真实的输出为-1的情况下,而预测值为1,所以我们就需要减少权重来使得预测值往-1靠近。

注意:感知器收敛的前提是两个类别必须是线性可分的,且学习率足够小。如果两个类别无法通过一个线性决策边界进行划分,我们可以设置一个迭代次数或者一个判断错误样本的阈值,否则感知器算法会一直运行下去。

python实现感知器算法详解

最后,用一张图来表示感知器算法的工作过程

python实现感知器算法详解

二、python实现感知器算法

import numpy as np 
 
class Perceptron(object): 
  ''''' 
  输入参数: 
  eta:学习率,在0~1之间,默认为0.01 
  n_iter:设置迭代的次数,默认为10 
  属性: 
  w_:一维数组,模型的权重 
  errors_:列表,被错误分类的数据 
  ''' 
  #初始化对象 
  def __init__(self,eta=0.01,n_iter=10): 
    self.eta = eta 
    self.n_iter = n_iter 
  #根据输入的x和y训练模型 
  def fit(self,x,y): 
    #初始化权重 
    self.w_ = np.zeros(1 + x.shape[1]) 
    #初始化错误列表 
    self.errors_=[] 
    #迭代输入数据,训练模型 
    for _ in range(self.n_iter): 
      errors = 0 
      for xi,target in zip(x,y): 
        #计算预测与实际值之间的误差在乘以学习率 
        update = self.eta * (target - self.predict(xi)) 
        #更新权重 
        self.w_[1:] += update * xi 
        #更新W0 
        self.w_[0] += update * 1 
        #当预测值与实际值之间误差为0的时候,errors=0否则errors=1 
        errors += int(update != 0) 
      #将错误数据的下标加入到列表中 
      self.errors_.append(errors) 
    return self 
  #定义感知器的传播过程 
  def net_input(self,x): 
    #等价于sum(i*j for i,j in zip(x,self.w_[1:])),这种方式效率要低于下面 
    return np.dot(x,self.w_[1:]) + self.w_[0] 
  #定义预测函数 
  def predict(self,x): 
    #类似于三元运算符,当self.net_input(x) >= 0.0 成立时返回1,否则返回-1 
    return np.where(self.net_input(x) >= 0.0 , 1 , -1)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python中使用CasperJS获取JS渲染生成的HTML内容的教程
Apr 09 Python
OpenCV实现人脸识别
Apr 07 Python
Python简单实现网页内容抓取功能示例
Jun 07 Python
不知道这5种下划线的含义,你就不算真的会Python!
Oct 09 Python
Anaconda之conda常用命令介绍(安装、更新、删除)
Oct 06 Python
解决TensorFlow模型恢复报错的问题
Feb 06 Python
Python3实现监控新型冠状病毒肺炎疫情的示例代码
Feb 13 Python
Python configparser模块常用方法解析
May 22 Python
解决pycharm导入本地py文件时,模块下方出现红色波浪线的问题
Jun 01 Python
Python如何定义接口和抽象类
Jul 28 Python
python IP地址转整数
Nov 20 Python
Python ellipsis 的用法详解
Nov 20 Python
python绘制条形图方法代码详解
Dec 19 #Python
Python实现两款计算器功能示例
Dec 19 #Python
Python构建网页爬虫原理分析
Dec 19 #Python
Python2.X/Python3.X中urllib库区别讲解
Dec 19 #Python
Python实现采用进度条实时显示处理进度的方法
Dec 19 #Python
Python实现矩阵加法和乘法的方法分析
Dec 19 #Python
分析python切片原理和方法
Dec 19 #Python
You might like
用PHP提取中英文词语以及数字的首字母的方法介绍
2013/04/23 PHP
ucenter中词语过滤原理分析
2016/07/13 PHP
PHP面向对象程序设计类的定义与用法简单示例
2016/12/27 PHP
php安装扩展mysqli的实现步骤及报错解决办法
2017/09/23 PHP
js前台判断开始时间是否小于结束时间
2012/02/23 Javascript
多个js与css文件的合并方法详细说明
2012/12/26 Javascript
Javascript玩转继承(三)
2014/05/08 Javascript
JS实现点击文字对应DIV层不停闪动效果的方法
2015/03/02 Javascript
jQuery实现联动下拉列表查询框
2017/01/04 Javascript
将Sublime Text 3 添加到右键中的简单方法
2017/12/12 Javascript
浅析从vue源码看观察者模式
2018/01/29 Javascript
js实现二级菜单点击显示当前内容效果
2018/04/28 Javascript
Vue实现简单计算器案例
2020/02/25 Javascript
javascript实现倒计时提示框
2021/03/02 Javascript
[03:46]DOTA2英雄基础教程 维萨吉
2013/12/11 DOTA
python定时执行指定函数的方法
2015/05/27 Python
Selenium元素的常用操作方法分析
2018/08/10 Python
python os.path模块常用方法实例详解
2018/09/16 Python
Python实现 版本号对比功能的实例代码
2019/04/18 Python
python的pygal模块绘制反正切函数图像方法
2019/07/16 Python
Django 路由控制的实现
2019/07/17 Python
Tensorflow 多线程与多进程数据加载实例
2020/02/05 Python
Python基于paramunittest模块实现excl参数化
2020/04/26 Python
使用pygame实现垃圾分类小游戏功能(已获校级二等奖)
2020/07/23 Python
Python制作运行进度条的实现效果(代码运行不无聊)
2021/02/24 Python
用纯css3和html制作泡沫对话框实现代码
2013/03/21 HTML / CSS
纯CSS实现右侧底部悬浮效果(悬浮QQ、微信、微博、邮箱等联系方式)
2015/04/24 HTML / CSS
美国鞋类购物网站:Shiekh Shoes
2016/08/21 全球购物
Betsey Johnson官网:妖娆可爱的连衣裙及鞋子、手袋和配件
2016/12/30 全球购物
桥梁与隧道工程专业本科生求职信
2013/10/08 职场文书
十月份红领巾广播稿
2014/01/22 职场文书
人事科岗位职责范本
2014/03/02 职场文书
咖啡厅商业计划书
2014/09/15 职场文书
学校2015年纠风工作总结
2015/05/15 职场文书
Mysql Show Profile
2021/04/05 MySQL
关于SpringBoot 使用 Redis 分布式锁解决并发问题
2021/11/17 Redis