Python中使用支持向量机SVM实践


Posted in Python onDecember 27, 2017

在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,通常用来进行模式识别、分类(异常值检测)以及回归分析。

其具有以下特征:

   (1)SVM可以表示为凸优化问题,因此可以利用已知的有效算法发现目标函数的全局最小值。而其他分类方法都采用一种基于贪心学习的策略来搜索假设空间,这种方法一般只能获得局部最优解。

  (2) SVM通过最大化决策边界的边缘来实现控制模型的能力。尽管如此,用户必须提供其他参数,如使用核函数类型和引入松弛变量等。

  (3)SVM一般只能用在二类问题,对于多类问题效果不好。

代码及详细解释(基于sklearn包):

from sklearn import svm
import numpy as np
import matplotlib.pyplot as plt

#准备训练样本
x=[[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]]
y=[1,1,-1,-1,1,-1,-1,1]

##开始训练
clf=svm.SVC() ##默认参数:kernel='rbf'
clf.fit(x,y)
##根据训练出的模型绘制样本点
for i in x:
  res=clf.predict(np.array(i).reshape(1, -1))
  if res > 0:
    plt.scatter(i[0],i[1],c='r',marker='*')
  else :
    plt.scatter(i[0],i[1],c='g',marker='*')

##生成随机实验数据(15行2列)
rdm_arr=np.random.randint(1, 15, size=(15,2))
##回执实验数据点
for i in rdm_arr:
  res=clf.predict(np.array(i).reshape(1, -1))
  if res > 0:
    plt.scatter(i[0],i[1],c='r',marker='.')
  else :
    plt.scatter(i[0],i[1],c='g',marker='.')
##显示绘图结果
plt.show()

从图上可以看出,数据明显被蓝色分割线分成了两类。但是红色箭头标示的点例外,所以这也起到了检测异常值的作用。
上面的代码中提到了kernel='rbf',这个参数是SVM的核心:核函数

重新整理后的代码如下:  

from sklearn import svm
import numpy as np
import matplotlib.pyplot as plt

##设置子图数量
fig, axes = plt.subplots(nrows=2, ncols=2,figsize=(7,7))
ax0, ax1, ax2, ax3 = axes.flatten()

#准备训练样本
x=[[1,8],[3,20],[1,15],[3,35],[5,35],[4,40],[7,80],[6,49]]
y=[1,1,-1,-1,1,-1,-1,1]
'''
  说明1:
    核函数(这里简单介绍了sklearn中svm的四个核函数,还有precomputed及自定义的)
    
  LinearSVC:主要用于线性可分的情形。参数少,速度快,对于一般数据,分类效果已经很理想
  RBF:主要用于线性不可分的情形。参数多,分类结果非常依赖于参数
  polynomial:多项式函数,degree 表示多项式的程度-----支持非线性分类
  Sigmoid:在生物学中常见的S型的函数,也称为S型生长曲线

  说明2:根据设置的参数不同,得出的分类结果及显示结果也会不同
  
'''
##设置子图的标题
titles = ['LinearSVC (linear kernel)', 
     'SVC with polynomial (degree 3) kernel', 
     'SVC with RBF kernel',   ##这个是默认的
     'SVC with Sigmoid kernel']
##生成随机试验数据(15行2列)
rdm_arr=np.random.randint(1, 15, size=(15,2))

def drawPoint(ax,clf,tn):
  ##绘制样本点
  for i in x:
    ax.set_title(titles[tn])
    res=clf.predict(np.array(i).reshape(1, -1))
    if res > 0:
      ax.scatter(i[0],i[1],c='r',marker='*')
    else :
      ax.scatter(i[0],i[1],c='g',marker='*')
   ##绘制实验点
  for i in rdm_arr:
    res=clf.predict(np.array(i).reshape(1, -1))
    if res > 0:
      ax.scatter(i[0],i[1],c='r',marker='.')
    else :
      ax.scatter(i[0],i[1],c='g',marker='.')

if __name__=="__main__":
  ##选择核函数
  for n in range(0,4):
    if n==0:
      clf = svm.SVC(kernel='linear').fit(x, y)
      drawPoint(ax0,clf,0)
    elif n==1:
      clf = svm.SVC(kernel='poly', degree=3).fit(x, y)
      drawPoint(ax1,clf,1)
    elif n==2:
      clf= svm.SVC(kernel='rbf').fit(x, y)
      drawPoint(ax2,clf,2)
    else :
      clf= svm.SVC(kernel='sigmoid').fit(x, y)
      drawPoint(ax3,clf,3)
  plt.show()

由于样本数据的关系,四个核函数得出的结果一致。在实际操作中,应该选择效果最好的核函数分析。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过imaplib模块读取gmail里邮件的方法
May 08 Python
python 读写、创建 文件的方法(必看)
Sep 12 Python
python验证码识别的示例代码
Sep 21 Python
python简单图片操作:打开\显示\保存图像方法介绍
Nov 23 Python
python用pandas数据加载、存储与文件格式的实例
Dec 07 Python
Python3 执行Linux Bash命令的方法
Jul 12 Python
Mac 使用python3的matplot画图不显示的解决
Nov 23 Python
python单例设计模式实现解析
Jan 07 Python
VS2019+python3.7+opencv4.1+tensorflow1.13配置详解
Apr 16 Python
Python如何实现的二分查找算法
May 27 Python
Python 实现简单的客户端认证
Jul 29 Python
Python接口自动化测试框架运行原理及流程
Nov 30 Python
Python使用Scrapy保存控制台信息到文本解析
Dec 27 #Python
Python简单生成随机姓名的方法示例
Dec 27 #Python
ubuntu中配置pyqt4环境教程
Dec 27 #Python
Python中Threading用法详解
Dec 27 #Python
SVM基本概念及Python实现代码
Dec 27 #Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
You might like
AM/FM收音机的安装与调试
2021/03/02 无线电
解决MySQL中文输出变成问号的问题
2008/06/05 PHP
微信红包随机生成算法php版
2016/07/21 PHP
Windows 下安装 swoole 图文教程(php)
2017/06/05 PHP
php+Ajax无刷新验证用户名操作实例详解
2019/03/04 PHP
三级下拉菜单的js实现代码
2011/05/23 Javascript
jquery实现marquee效果(文字或者图片的水平垂直滚动)
2013/01/07 Javascript
JavaScript获取浏览器信息的方法
2015/11/20 Javascript
javascript对浅拷贝和深拷贝的详解
2016/10/14 Javascript
angular双向绑定模拟探索
2016/12/26 Javascript
js中开关变量使用实例
2017/02/24 Javascript
微信小程序 数据绑定及运算的简单实例
2017/09/20 Javascript
用vue封装插件并发布到npm的方法步骤
2017/10/18 Javascript
浅谈vue的几种绑定变量的值 防止其改变的方法
2018/03/01 Javascript
在vue-cli搭建的项目中增加后台mock接口的方法
2018/04/26 Javascript
js正则相关知识点专题
2018/05/10 Javascript
opencv 识别微信登录验证滑动块位置
2018/08/07 Javascript
JS实现小米轮播图
2020/09/21 Javascript
python获得linux下所有挂载点(mount points)的方法
2015/04/29 Python
Python去除字符串两端空格的方法
2015/05/21 Python
python实现读取excel写入mysql的小工具详解
2017/11/20 Python
Python实现调用另一个路径下py文件中的函数方法总结
2018/06/07 Python
python 读取.csv文件数据到数组(矩阵)的实例讲解
2018/06/14 Python
学生信息管理系统Python面向对象版
2019/01/30 Python
flask/django 动态查询表结构相同表名不同数据的Model实现方法
2019/08/29 Python
python基于FTP实现文件传输相关功能代码实例
2019/09/28 Python
python cv2截取不规则区域图片实例
2019/12/21 Python
Python MOCK SERVER moco模拟接口测试过程解析
2020/04/13 Python
css3如何绘制一个圆圆的loading转圈动画
2018/01/09 HTML / CSS
HTML5 拖拽批量上传文件的示例代码
2018/03/28 HTML / CSS
Html5新增标签有哪些
2017/04/13 HTML / CSS
俄罗斯美容和健康网上商店:Созвездие Красоты
2019/07/23 全球购物
财务管理职业生涯规划书
2014/02/26 职场文书
升学宴演讲稿
2014/09/01 职场文书
四风自我剖析材料思想汇报
2014/10/01 职场文书
python神经网络ResNet50模型
2022/05/06 Python