首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

Python用 KNN 进行验证码识别的实现方法

Posted in Python onFebruary 06, 2018

前言

之前做了一个校园交友的APP，其中一个逻辑是通过用户的教务系统来确认用户是一名在校大学生，基本的想法是通过用户的账号和密码，用爬虫的方法来确认信息，但是许多教务系统都有验证码，当时是通过本地服务器去下载验证码，然后分发给客户端，然后让用户自己填写验证码，与账号密码一并提交给服务器，然后服务器再去模拟登录教务系统以确认用户能否登录该教务系统。验证码无疑让我们想使得用户快速认证的想法破灭了，但是当时也没办法，最近看了一些机器学习的内容，觉得对于大多数学校的那些极简单的验证码应该是可以用KNN这种方法来破解的，于是整理了一下思绪，撸起袖子做起来！

分析

我们学校的验证码是这样的：Python用 KNN 进行验证码识别的实现方法，其实就是简单地把字符进行旋转然后加上一些微弱的噪点形成的。我们要识别，就得逆行之，具体思路就是，首先二值化去掉噪点，然后把单个字符分割出来，最后旋转至标准方向，然后从这些处理好的图片中选出模板，最后每次新来一张验证码就按相同方式处理，然后和这些模板进行比较，选择判别距离最近的一个模板作为其判断结果（亦即KNN的思想，本文取K=1）。接下来按步骤进行说明。

获得验证码

首先得有大量的验证码，我们通过爬虫来实现，代码如下

#-*- coding:UTF-8 -*-
import urllib,urllib2,cookielib,string,Image
def getchk(number):
 #创建cookie对象
 cookie = cookielib.LWPCookieJar()
 cookieSupport= urllib2.HTTPCookieProcessor(cookie)
 opener = urllib2.build_opener(cookieSupport, urllib2.HTTPHandler)
 urllib2.install_opener(opener)
 #首次与教务系统链接获得cookie#
 #伪装browser
 headers = {
 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
 'Accept-Encoding':'gzip,deflate',
 'Accept-Language':'zh-CN,zh;q=0.8',
 'User-Agent':'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.111 Safari/537.36'
 }
 req0 = urllib2.Request(
  url ='http://mis.teach.ustc.edu.cn',
  headers = headers  #请求头
 )
 # 捕捉http错误
 try :
 result0 = urllib2.urlopen(req0)
 except urllib2.HTTPError,e:
 print e.code
 #提取cookie
 getcookie = ['',]
 for item in cookie:
 getcookie.append(item.name)
 getcookie.append("=")
 getcookie.append(item.value)
 getcookie = "".join(getcookie)
 
 #修改headers
 headers["Origin"] = "http://mis.teach.ustc.edu.cn"
 headers["Referer"] = "http://mis.teach.ustc.edu.cn/userinit.do"
 headers["Content-Type"] = "application/x-www-form-urlencoded"
 headers["Cookie"] = getcookie
 for i in range(number):
 req = urllib2.Request(
  url ="http://mis.teach.ustc.edu.cn/randomImage.do?date='1469451446894'",
  headers = headers   #请求头
 )
 response = urllib2.urlopen(req)
 status = response.getcode()
 picData = response.read()
 if status == 200:
  localPic = open("./source/"+str(i)+".jpg", "wb")
  localPic.write(picData)
  localPic.close()
 else:
  print "failed to get Check Code "
if __name__ == '__main__':
 getchk(500)

这里下载了500张验证码到source目录下面。如图：

Python用 KNN 进行验证码识别的实现方法

二值化

matlab丰富的图像处理函数能给我们省下很多时间，，我们遍历source文件夹，对每一张验证码图片进行二值化处理，把处理过的图片存入bw目录下。代码如下

mydir='./source/';
bw = './bw/';
if mydir(end)~='\'
 mydir=[mydir,'\'];
end
DIRS=dir([mydir,'*.jpg']); %扩展名
n=length(DIRS);
for i=1:n
 if ~DIRS(i).isdir
 img = imread(strcat(mydir,DIRS(i).name ));
 img = rgb2gray(img);%灰度化
 img = im2bw(img);%0-1二值化
 name = strcat(bw,DIRS(i).name)
 imwrite(img,name);
 end
end

处理结果如图：

Python用 KNN 进行验证码识别的实现方法

分割

mydir='./bw/';
letter = './letter/';
if mydir(end)~='\'
 mydir=[mydir,'\'];
end
DIRS=dir([mydir,'*.jpg']); %扩展名
n=length(DIRS);
for i=1:n
 if ~DIRS(i).isdir
 img = imread(strcat(mydir,DIRS(i).name ));
 img = im2bw(img);%二值化
 img = 1-img;%颜色反转让字符成为联通域，方便去除噪点
 for ii = 0:3
  region = [ii*20+1,1,19,20];%把一张验证码分成四个20*20大小的字符图片
  subimg = imcrop(img,region);
  imlabel = bwlabel(subimg);
%  imshow(imlabel);
 
  if max(max(imlabel))>1 % 说明有噪点，要去除
%   max(max(imlabel))
 
%   imshow(subimg);
 
  stats = regionprops(imlabel,'Area');
  area = cat(1,stats.Area);
  maxindex = find(area == max(area));
  area(maxindex) = 0;  
  secondindex = find(area == max(area)); 
  imindex = ismember(imlabel,secondindex);
  subimg(imindex==1)=0;%去掉第二大连通域，噪点不可能比字符大，所以第二大的就是噪点
  end
  name = strcat(letter,DIRS(i).name(1:length(DIRS(i).name)-4),'_',num2str(ii),'.jpg')
  imwrite(subimg,name);
 end
 end
end

处理结果如图：

Python用 KNN 进行验证码识别的实现方法

旋转

接下来进行旋转，哪找一个什么标准呢？据观察，这些字符旋转不超过60度，那么在正负60度之间，统一旋转至字符宽度最小就行了。代码如下

if mydir(end)~='\'
 mydir=[mydir,'\'];
end
DIRS=dir([mydir,'*.jpg']); %扩展名
n=length(DIRS);
for i=1:n
 if ~DIRS(i).isdir
 img = imread(strcat(mydir,DIRS(i).name ));
 img = im2bw(img);
 minwidth = 20;
 for angle = -60:60
  imgr=imrotate(img,angle,'bilinear','crop');%crop 避免图像大小变化
  imlabel = bwlabel(imgr);
  stats = regionprops(imlabel,'Area');
  area = cat(1,stats.Area);
  maxindex = find(area == max(area));
  imindex = ismember(imlabel,maxindex);%最大连通域为1
  [y,x] = find(imindex==1);
  width = max(x)-min(x)+1;
  if width<minwidth
  minwidth = width;
  imgrr = imgr;
  end
 end
 name = strcat(rotate,DIRS(i).name)
 imwrite(imgrr,name);
 end
end

处理结果如图，一共2000个字符的图片存在rotate文件夹中

Python用 KNN 进行验证码识别的实现方法

模板选取

现在从rotate文件夹中选取一套模板，涵盖每一个字符，一个字符可以选取多个图片，因为即使有前面的诸多处理也不能保证一个字符的最终呈现形式只有一种，多选几个才能保证覆盖率。把选出来的模板图片存入samples文件夹下，这个过程很耗时耗力。可以找同学帮忙~，如图

Python用 KNN 进行验证码识别的实现方法

测试

测试代码如下：首先对测试验证码进行上述操作，然后和选出来的模板进行比较，采用差分值最小的模板作为测试样本的字符选择，代码如下

% 具有差分最小值的图作为答案 

mydir='./test/';
samples = './samples/';
if mydir(end)~='\'
 mydir=[mydir,'\'];
end
if samples(end)~='\'
 samples=[samples,'\'];
end
DIRS=dir([mydir,'*.jpg']); %扩展?
DIRS1=dir([samples,'*.jpg']); %扩展名
n=length(DIRS);%验证码总图数
singleerror = 0;%单个错误
uniterror = 0;%一张验证码错误个数
for i=1:n
 if ~DIRS(i).isdir
 realcodes = DIRS(i).name(1:4);
 fprintf('验证码实际字符:%s\n',realcodes);
 img = imread(strcat(mydir,DIRS(i).name ));
 img = rgb2gray(img);
 img = im2bw(img);
 img = 1-img;%颜色反转让字符成为联通域
 subimgs = [];
 for ii = 0:3
  region = [ii*20+1,1,19,20];%奇怪,为什么这样才能均分？
  subimg = imcrop(img,region);
  imlabel = bwlabel(subimg);
  if max(max(imlabel))>1 % 说明有杂点
  stats = regionprops(imlabel,'Area');
  area = cat(1,stats.Area);
  maxindex = find(area == max(area));
  area(maxindex) = 0;  
  secondindex = find(area == max(area)); 
  imindex = ismember(imlabel,secondindex);
  subimg(imindex==1)=0;%去掉第二大连通域
  end
  subimgs = [subimgs;subimg];
 end
 codes = [];
 for ii = 0:3
  region = [ii*20+1,1,19,20];
  subimg = imcrop(img,region);
  minwidth = 20;
  for angle = -60:60
  imgr=imrotate(subimg,angle,'bilinear','crop');%crop 避免图像大小变化
  imlabel = bwlabel(imgr);
  stats = regionprops(imlabel,'Area');
  area = cat(1,stats.Area);
  maxindex = find(area == max(area));
  imindex = ismember(imlabel,maxindex);%最大连通域为1
  [y,x] = find(imindex==1);
  width = max(x)-min(x)+1;
  if width<minwidth
   minwidth = width;
   imgrr = imgr;
  end
  end
  mindiffv = 1000000;
  for jj = 1:length(DIRS1)
  imgsample = imread(strcat(samples,DIRS1(jj).name ));
  imgsample = im2bw(imgsample);
  diffv = abs(imgsample-imgrr);
  alldiffv = sum(sum(diffv));
  if alldiffv<mindiffv
   mindiffv = alldiffv;
   code = DIRS1(jj).name;
   code = code(1);
  end
  end
  codes = [codes,code];
 end
 fprintf('验证码测试字符:%s\n',codes);
 num = codes-realcodes;
 num = length(find(num~=0));
 singleerror = singleerror + num;
 if num>0
  uniterror = uniterror +1;
 end
 fprintf('错误个数:%d\n',num);
 end
end
fprintf('\n-----结果统计如下-----\n\n');
fprintf('测试验证码的字符数量:%d\n',n*4);
fprintf('测试验证码的字符错误数量:%d\n',singleerror);
fprintf('单个字符识别正确率:%.2f%%\n',(1-singleerror/(n*4))*100);
fprintf('测试验证码图的数量:%d\n',n);
fprintf('测试验证码图的错误数量:%d\n',uniterror);
fprintf('填对验证码的概率:%.2f%%\n',(1-uniterror/n)*100);

结果：

验证码实际字符:2B4E
验证码测试字符:2B4F
错误个数:1
验证码实际字符:4572
验证码测试字符:4572
错误个数:0
验证码实际字符:52CY
验证码测试字符:52LY
错误个数:1
验证码实际字符:83QG
验证码测试字符:85QG
错误个数:1
验证码实际字符:9992
验证码测试字符:9992
错误个数:0
验证码实际字符:A7Y7
验证码测试字符:A7Y7
错误个数:0
验证码实际字符:D993
验证码测试字符:D995
错误个数:1
验证码实际字符:F549
验证码测试字符:F5A9
错误个数:1
验证码实际字符:FMC6
验证码测试字符:FMLF
错误个数:2
验证码实际字符:R4N4
验证码测试字符:R4N4
错误个数:0 

-----结果统计如下----- 

测试验证码的字符数量:40
测试验证码的字符错误数量:7
单个字符识别正确率:82.50%
测试验证码图的数量:10
测试验证码图的错误数量:6
填对验证码的概率:40.00%

可见单个字符准确率是比较高的的了，但是综合准确率还是不行，观察结果至，错误的字符就是那些易混淆字符，比如E和F,C和L,5和3，4和A等，所以我们能做的事就是增加模板中的样本数量，以期尽量减少混淆。

增加了几十个样本过后再次试验，结果：

验证码实际字符:2B4E
验证码测试字符:2B4F
错误个数:1
验证码实际字符:4572
验证码测试字符:4572
错误个数:0
验证码实际字符:52CY
验证码测试字符:52LY
错误个数:1
验证码实际字符:83QG
验证码测试字符:83QG
错误个数:0
验证码实际字符:9992
验证码测试字符:9992
错误个数:0
验证码实际字符:A7Y7
验证码测试字符:A7Y7
错误个数:0
验证码实际字符:D993
验证码测试字符:D993
错误个数:0
验证码实际字符:F549
验证码测试字符:F5A9
错误个数:1
验证码实际字符:FMC6
验证码测试字符:FMLF
错误个数:2
验证码实际字符:R4N4
验证码测试字符:R4N4
错误个数:0 

-----结果统计如下----- 

测试验证码的字符数量:40
测试验证码的字符错误数量:5
单个字符识别正确率:87.50%
测试验证码图的数量:10
测试验证码图的错误数量:4
填对验证码的概率:60.00%

可见无论是单个字符识别正确率还是整个验证码正确的概率都有了提升。能够预见：随着模板数量的增多，正确率会不断地提高。

总结

这种方法的可扩展性很弱，而且只适用于简单的验证码，12306那种根本就别提了。

Python用 KNN 进行验证码识别的实现方法

- Author -

mrr

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python采集博客中上传的QQ截图文件
Jul 18 Python
python opencv实现运动检测
Jul 10 Python
在pycharm 中添加运行参数的操作方法
Jan 19 Python
Python + OpenCV 实现LBP特征提取的示例代码
Jul 11 Python
Python facenet进行人脸识别测试过程解析
Aug 16 Python
python实现一个函数版的名片管理系统过程解析
Aug 27 Python
Python读取VOC中的xml目标框实例
Mar 10 Python
Python描述符descriptor使用原理解析
Mar 21 Python
Jupyter加载文件的实现方法
Apr 14 Python
利用Python实现斐波那契数列的方法实例
Jul 26 Python
详解numpy.ndarray.reshape()函数的参数问题
Oct 13 Python
python爬取youtube视频的示例代码
Mar 03 Python
Python实现的径向基（RBF）神经网络示例
Feb 06 #Python
python实现淘宝秒杀聚划算抢购自动提醒源码
Jun 23 #Python
初探TensorFLow从文件读取图片的四种方式
Feb 06 #Python
用十张图详解TensorFlow数据读取机制（附代码）
Feb 06 #Python
Python实现matplotlib显示中文的方法详解
Feb 06 #Python
Python实现自动上京东抢手机
Feb 06 #Python
Python获取指定文件夹下的文件名的方法
Feb 06 #Python
连接数(1) 访问日志(2) 策略(1) 缓存(3) UV(1) PV(1) 内存(1) 弱口令(1) 线程(1) ipv6(1)
You might like
PHP实现过滤掉非汉字字符只保留中文字符
2015/06/04 PHP
PHP+MySQL实现输入页码跳转到指定页面功能示例
2018/06/01 PHP
php简单计算权重的方法示例【适合抽奖类应用】
2019/06/10 PHP
php设计模式之模板模式实例分析【星际争霸游戏案例】
2020/03/24 PHP
javascript中的window.location.search方法简介
2013/09/02 Javascript
JS正则表达式获取分组内容的方法详解
2013/11/15 Javascript
详解JavaScript的Polymer框架中的通知交互
2015/07/29 Javascript
three.js中3D视野的缩放实现代码
2017/11/16 Javascript
详解Vue 事件修饰符capture 的使用
2017/12/29 Javascript
JS实现的3des+base64加密解密算法完整示例
2018/05/18 Javascript
vscode中vue-cli项目es-lint的配置方法
2018/07/30 Javascript
JavaScript中将值转换为字符串的五种方法总结
2019/06/06 Javascript
js实现简单五子棋游戏
2020/05/28 Javascript
Vue中computed及watch区别实例解析
2020/08/01 Javascript
利用matplotlib+numpy绘制多种绘图的方法实例
2017/05/03 Python
Python 获取当前所在目录的方法详解
2017/08/02 Python
详解使用 pyenv 管理多个版本 python 环境
2017/10/19 Python
Python zip()函数用法实例分析
2018/03/17 Python
matplotlib 纵坐标轴显示数据值的实例
2018/05/25 Python
Python 判断文件或目录是否存在的实例代码
2018/07/19 Python
Python设计模式之代理模式实例详解
2019/01/19 Python
python groupby 函数 as_index详解
2019/12/16 Python
基于python实现操作git过程代码解析
2020/07/27 Python
Python 程序员必须掌握的日志记录
2020/08/17 Python
如何用python 操作zookeeper
2020/12/28 Python
CSS3使用transition实现的鼠标悬停淡入淡出
2015/01/09 HTML / CSS
深入开展党的群众路线教育实践活动方案
2014/02/04 职场文书
企业负责人任命书
2014/06/05 职场文书
比赛口号大全
2014/06/10 职场文书
公司租房协议书
2014/10/14 职场文书
2014年信贷员工作总结
2014/11/18 职场文书
体育活动总结
2015/02/04 职场文书
《画家和牧童》教学反思
2016/02/17 职场文书
tensorflow学习笔记之tfrecord文件的生成与读取
2021/03/31 Python
分布式锁为什么要选择Zookeeper而不是Redis?看完这篇你就明白了
2021/05/21 Redis
pytorch 如何使用amp进行混合精度训练
2021/05/24 Python