SVM基本概念及Python实现代码


Posted in Python onDecember 27, 2017

SVM(support vector machine)支持向量机:

注意:本文不准备提到数学证明的过程,一是因为有一篇非常好的文章解释的非常好:支持向量机通俗导论(理解SVM的三层境界) ,另一方面是因为我只是个程序员,不是搞数学的(主要是因为数学不好。),主要目的是将SVM以最通俗易懂,简单粗暴的方式解释清楚。

线性分类:

先从线性可分的数据讲起,如果需要分类的数据都是线性可分的,那么只需要一根直线f(x)=wx+b就可以分开了,类似这样:

SVM基本概念及Python实现代码

这种方法被称为:线性分类器,一个线性分类器的学习目标便是要在n维的数据空间中找到一个超平面(hyper plane)。也就是说,数据不总是二维的,比如,三维的超平面是面。但是有个问题:

SVM基本概念及Python实现代码

上述两种超平面,都可以将数据进行分类,由此可推出,其实能有无数个超平面能将数据划分,但是哪条最优呢?

最大间隔分类器Maximum Margin Classifier:

简称MMH, 对一个数据点进行分类,当超平面离数据点的“间隔”越大,分类的确信度(confidence)也越大。所以,为了使得分类的确信度尽量高,需要让所选择的超平面能够最大化这个“间隔”值。这个间隔就是下图中的Gap的一半。

SVM基本概念及Python实现代码

用以生成支持向量的点,如上图XO,被称为支持向量点,因此SVM有一个优点,就是即使有大量的数据,但是支持向量点是固定的,因此即使再次训练大量数据,这个超平面也可能不会变化。

非线性分类:

数据大多数情况都不可能是线性的,那如何分割非线性数据呢?

SVM基本概念及Python实现代码SVM基本概念及Python实现代码

解决方法是将数据放到高维度上再进行分割,如下图:

SVM基本概念及Python实现代码

当f(x)=x时,这组数据是个直线,如上半部分,但是当我把这组数据变为f(x)=x^2时,这组数据就变成了下半部分的样子,也就可以被红线所分割。

比如说,我这里有一组三维的数据X=(x1,x2,x3),线性不可分割,因此我需要将他转换到六维空间去。因此我们可以假设六个维度分别是:x1,x2,x3,x1^2,x1*x2,x1*x3,当然还能继续展开,但是六维的话这样就足够了。

新的决策超平面:d(Z)=WZ+b,解出W和b后带入方程,因此这组数据的超平面应该是:d(Z)=w1x1+w2x2+w3x3+w4*x1^2+w5x1x2+w6x1x3+b但是又有个新问题,转换高纬度一般是以内积(dot product)的方式进行的,但是内积的算法复杂度非常大。

核函数Kernel:

我们会经常遇到线性不可分的样例,此时,我们的常用做法是把样例特征映射到高维空间中去。但进一步,如果凡是遇到线性不可分的样例,一律映射到高维空间,那么这个维度大小是会高到可怕的,而且内积方式复杂度太大。此时,核函数就隆重登场了,核函数的价值在于它虽然也是讲特征进行从低维到高维的转换,但核函数绝就绝在它事先在低维上进行计算,而将实质上的分类效果表现在了高维上,也就如上文所说的避免了直接在高维空间中的复杂计算。

几种常用核函数:

h度多项式核函数(Polynomial Kernel of Degree h)

高斯径向基和函数(Gaussian radial basis function Kernel)

S型核函数(Sigmoid function Kernel)

图像分类,通常使用高斯径向基和函数,因为分类较为平滑,文字不适用高斯径向基和函数。没有标准的答案,可以尝试各种核函数,根据精确度判定。

松弛变量:

数据本身可能有噪点,会使得原本线性可分的数据需要映射到高维度去。对于这种偏离正常位置很远的数据点,我们称之为 outlier ,在我们原来的 SVM 模型里,outlier 的存在有可能造成很大的影响,因为超平面本身就是只有少数几个 support vector 组成的,如果这些 support vector 里又存在 outlier 的话,其影响就很大了。

SVM基本概念及Python实现代码

因此排除outlier点,可以相应的提高模型准确率和避免Overfitting的方式。

解决多分类问题:

经典的SVM只给出了二类分类的算法,现实中数据可能需要解决多类的分类问题。因此可以多次运行SVM,产生多个超平面,如需要分类1-10种产品,首先找到1和2-10的超平面,再寻找2和1,3-10的超平面,以此类推,最后需要测试数据时,按照相应的距离或者分布判定。

SVM与其他机器学习算法对比(图):

SVM基本概念及Python实现代码

Python实现方式:

线性,基础:

from sklearn import svm 
 
x = [[2,0,1],[1,1,2],[2,3,3]] 
y = [0,0,1] #分类标记 
clf = svm.SVC(kernel = 'linear') #SVM模块,svc,线性核函数 
clf.fit(x,y) 
 
print(clf) 
 
print(clf.support_vectors_) #支持向量点 
 
print(clf.support_) #支持向量点的索引 
 
print(clf.n_support_) #每个class有几个支持向量点 
 
print(clf.predict([2,0,3])) #预测

线性,展示图:

from sklearn import svm 
import numpy as np 
import matplotlib.pyplot as plt 
 
np.random.seed(0) 
x = np.r_[np.random.randn(20,2)-[2,2],np.random.randn(20,2)+[2,2]] #正态分布来产生数字,20行2列*2 
y = [0]*20+[1]*20 #20个class0,20个class1 
 
clf = svm.SVC(kernel='linear') 
clf.fit(x,y) 
 
w = clf.coef_[0] #获取w 
a = -w[0]/w[1] #斜率 
#画图划线 
xx = np.linspace(-5,5) #(-5,5)之间x的值 
yy = a*xx-(clf.intercept_[0])/w[1] #xx带入y,截距 
 
#画出与点相切的线 
b = clf.support_vectors_[0] 
yy_down = a*xx+(b[1]-a*b[0]) 
b = clf.support_vectors_[-1] 
yy_up = a*xx+(b[1]-a*b[0]) 
 
print("W:",w) 
print("a:",a) 
 
print("support_vectors_:",clf.support_vectors_) 
print("clf.coef_:",clf.coef_) 
 
plt.figure(figsize=(8,4)) 
plt.plot(xx,yy) 
plt.plot(xx,yy_down) 
plt.plot(xx,yy_up) 
plt.scatter(clf.support_vectors_[:,0],clf.support_vectors_[:,1],s=80) 
plt.scatter(x[:,0],x[:,1],c=y,cmap=plt.cm.Paired) #[:,0]列切片,第0列 
 
plt.axis('tight') 
 
plt.show()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用shelve模块实现简单数据存储的方法
May 20 Python
十个Python程序员易犯的错误
Dec 15 Python
用python写的一个wordpress的采集程序
Feb 27 Python
JavaScript实现一维数组转化为二维数组
Apr 17 Python
深入理解Django自定义信号(signals)
Oct 15 Python
淘宝秒杀python脚本 扫码登录版
Sep 19 Python
python使用正则表达式(Regular Expression)方法超详细
Dec 30 Python
在 Windows 下搭建高效的 django 开发环境的详细教程
Jul 27 Python
解决Python3.8运行tornado项目报NotImplementedError错误
Sep 02 Python
Python3使用 GitLab API 进行批量合并分支
Oct 15 Python
python实现马丁策略回测3000只股票的实例代码
Jan 22 Python
Python实现自动玩连连看的脚本分享
Apr 04 Python
Python自定义函数定义,参数,调用代码解析
Dec 27 #Python
详解用Python处理HTML转义字符的5种方式
Dec 27 #Python
Python中使用支持向量机(SVM)算法
Dec 26 #Python
Python中支持向量机SVM的使用方法详解
Dec 26 #Python
详解python中的 is 操作符
Dec 26 #Python
matplotlib简介,安装和简单实例代码
Dec 26 #Python
Python中xrange与yield的用法实例分析
Dec 26 #Python
You might like
PHP入门速成(2)
2006/10/09 PHP
php中关于普通表单多文件上传的处理方法
2011/03/25 PHP
php中常用的预定义变量小结
2012/05/09 PHP
PHP两种去掉数组重复值的方法比较
2014/06/19 PHP
destoon整合UCenter图文教程
2014/06/21 PHP
PHP实现通用alert函数的方法
2015/03/11 PHP
ThinkPHP框架中使用Memcached缓存数据的方法
2018/03/31 PHP
laravel 自定义常量的两种方案
2019/10/14 PHP
javascript中"/"运算符常见错误
2010/10/13 Javascript
jquery获取特定name所有选中的checkbox,支持IE9标准模式
2013/03/18 Javascript
JS删除字符串中重复字符方法
2014/03/09 Javascript
JS基于cookie实现来宾统计记录访客信息的方法
2015/08/04 Javascript
Angularjs过滤器使用详解
2016/05/25 Javascript
jQuery 出现Cannot read property ‘msie’ of undefined错误的解决方法
2016/11/23 Javascript
javascript实现去除HTML标签的方法
2016/12/26 Javascript
ionic实现下拉刷新载入数据功能
2017/05/11 Javascript
JS简单生成随机数(随机密码)的方法
2017/05/11 Javascript
javascript 通过键名获取键盘的keyCode方法
2017/12/31 Javascript
详解Express笔记之动态渲染HTML(新手入坑)
2018/12/13 Javascript
简单了解vue中的v-if和v-show的区别
2019/10/08 Javascript
vue项目启动出现cannot GET /服务错误的解决方法
2020/04/26 Javascript
Python中使用Queue和Condition进行线程同步的方法
2016/01/19 Python
详解Python import方法引入模块的实例
2017/08/02 Python
解决python3读取Python2存储的pickle文件问题
2018/10/25 Python
涂鸦板简单实现 Html5编写属于自己的画画板
2016/07/05 HTML / CSS
香蕉共和国工厂店:Banana Republic Factory
2018/06/09 全球购物
Notino法国:购买香水和化妆品
2019/04/15 全球购物
娇韵诗Clarins意大利官方网站:法国天然护肤品牌
2020/03/11 全球购物
几道数据库的面试题或笔试题
2014/05/31 面试题
JAVA高级程序员面试题
2013/09/06 面试题
家长给孩子的评语
2014/01/30 职场文书
后勤主管岗位职责
2014/03/01 职场文书
高中生家长寄语大全
2014/04/03 职场文书
领导班子四风表现材料
2014/08/23 职场文书
党员电教片《信仰》心得体会
2016/01/15 职场文书
解决 redis 无法远程连接
2022/05/15 Redis