21行Python代码实现拼写检查器


Posted in Python onJanuary 25, 2016

引入

大家在使用谷歌或者百度搜索时,输入搜索内容时,谷歌总是能提供非常好的拼写检查,比如你输入 speling,谷歌会马上返回 spelling。
下面是用21行python代码实现的一个简易但是具备完整功能的拼写检查器。

代码

import re, collections

def words(text): return re.findall('[a-z]+', text.lower()) 

def train(features):
  model = collections.defaultdict(lambda: 1)
  for f in features:
    model[f] += 1
  return model

NWORDS = train(words(file('big.txt').read()))

alphabet = 'abcdefghijklmnopqrstuvwxyz'

def edits1(word):
  splits   = [(word[:i], word[i:]) for i in range(len(word) + 1)]
  deletes  = [a + b[1:] for a, b in splits if b]
  transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b)>1]
  replaces  = [a + c + b[1:] for a, b in splits for c in alphabet if b]
  inserts  = [a + c + b   for a, b in splits for c in alphabet]
  return set(deletes + transposes + replaces + inserts)

def known_edits2(word):
  return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

def known(words): return set(w for w in words if w in NWORDS)

def correct(word):
  candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
  return max(candidates, key=NWORDS.get)
correct函数是程序的入口,传进去错误拼写的单词会返回正确。如:

>>> correct("cpoy")
'copy'
>>> correct("engilsh")
'english'
>>> correct("sruprise")
'surprise'

除了这段代码外,作为机器学习的一部分,肯定还应该有大量的样本数据,准备了big.txt作为我们的样本数据。

背后原理

上面的代码是基于贝叶斯来实现的,事实上谷歌百度实现的拼写检查也是通过贝叶斯实现,不过肯定比这个复杂多了。
首先简单介绍一下背后的原理,如果读者之前了解过了,可以跳过这段。
给一个词,我们试图选取一个最可能的正确的的拼写建议(建议也可能就是输入的单词)。有时也不清楚(比如lates应该被更正为late或者latest?),我们用概率决定把哪一个作为建议。我们从跟原始词w相关的所有可能的正确拼写中找到可能性最大的那个拼写建议c:

argmaxc P(c|w)

通过贝叶斯定理,上式可以转化为

argmaxc P(w|c) P(c) / P(w)

下面介绍一下上式中的含义:

  • P(c|w)代表在输入单词w 的情况下,你本来想输入 单词c的概率。
  • P(w|c)代表用户想输入单词c却输入w的概率,这个可以我们认为给定的。
  • P(c)代表在样本数据中单词c出现的概率
  • P(w)代表在样本数字中单词w出现的概率

可以确定P(w)对于所有可能的单词c概率都是一样的,所以上式可以转换为
argmaxc P(w|c) P(c)
我们所有的代码都是基于这个公式来的,下面分析具体代码实现

代码分析

利用words()函数提取big.txt中的单词

def words(text): return re.findall('[a-z]+', text.lower())

re.findall(‘[a-z]+'是利用python正则表达式模块,提取所有的符合'[a-z]+'条件的,也就是由字母组成的单词。(这里不详细介绍正则表达式了,有兴趣的同学可以看 正则表达式简介。text.lower()是将文本转化为小写字母,也就是“the”和“The”一样定义为同一个单词。

利用train()函数计算每个单词出现的次数然后训练出一个合适的模型

def train(features):
  model = collections.defaultdict(lambda: 1)
  for f in features:
    model[f] += 1
  return model
NWORDS = train(words(file('big.txt').read()))

这样NWORDS[w]代表了单词w在样本中出现的次数。如果有一个单词并没有出现在我们的样本中该怎么办?处理方法是将他们的次数默认设为1,这里通过collections模块和lambda表达式实现。collections.defaultdict()创建了一个默认的字典,lambda:1将这个字典中的每个值都默认设为1。

现在我们处理完了公式argmaxc P(w|c) P(c)中的P(c),接下来处理P(w|c)即想输入单词c却错误地输入单词w的概率,通过 “edit distance“--将一个单词变为另一个单词所需要的编辑次数来衡量,一次edit可能是一次删除,一个交换(两个相邻的字母),一次插入,一次修改。下面的函数返回一个将c进行一次编辑所有可能得到的单词w的集合:

def edits1(word):
  splits   = [(word[:i], word[i:]) for i in range(len(word) + 1)]
  deletes  = [a + b[1:] for a, b in splits if b]
  transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b)>1]
  replaces  = [a + c + b[1:] for a, b in splits for c in alphabet if b]
  inserts  = [a + c + b   for a, b in splits for c in alphabet]
  return set(deletes + transposes + replaces + inserts)

相关论文显示,80-95%的拼写错误跟想要拼写的单词都只有1个编辑距离,如果觉得一次编辑不够,那我们再来一次

def known_edits2(word):
  return set(e2 for e1 in edits1(word) for e2 in edits1(e1) if e2 in NWORDS)

同时还可能有编辑距离为0次的即本身就拼写正确的:

def known(words):
  return set(w for w in words if w in NWORDS)

我们假设编辑距离1次的概率远大于2次的,0次的远大于1次的。下面通过correct函数先选择编辑距离最小的单词,其对应的P(w|c)就会越大,作为候选单词,再选择P(c)最大的那个单词作为拼写建议

def correct(word):
  candidates = known([word]) or known(edits1(word)) or known_edits2(word) or [word]
  return max(candidates, key=NWORDS.get)

以上就是本文的全部内容,希望对大家学习python程序设计有所帮助。

Python 相关文章推荐
python ip正则式
May 07 Python
使用优化器来提升Python程序的执行效率的教程
Apr 02 Python
利用Python实现Windows定时关机功能
Mar 21 Python
Python学习之Django的管理界面代码示例
Feb 10 Python
利用python numpy+matplotlib绘制股票k线图的方法
Jun 26 Python
Python底层封装实现方法详解
Jan 22 Python
使用python创建生成动态链接库dll的方法
May 09 Python
Django全局启用登陆验证login_required的方法
Jun 02 Python
python Scrapy框架原理解析
Jan 04 Python
Python Numpy之linspace用法说明
Apr 17 Python
利用Python判断你的密码难度等级
Jun 02 Python
Python合并pdf文件的工具
Jul 01 Python
Python字符串、元组、列表、字典互相转换的方法
Jan 23 #Python
Python随手笔记第一篇(2)之初识列表和元组
Jan 23 #Python
Python爬虫模拟登录带验证码网站
Jan 22 #Python
Fiddler如何抓取手机APP数据包
Jan 22 #Python
Python爬虫抓取手机APP的传输数据
Jan 22 #Python
Python 列表排序方法reverse、sort、sorted详解
Jan 22 #Python
Python中使用urllib2模块编写爬虫的简单上手示例
Jan 20 #Python
You might like
PHP调用Twitter的RSS的实现代码
2010/03/10 PHP
BOOM vs RR BO3 第一场2.13
2021/03/10 DOTA
javascript实现动态CSS换肤技术的脚本
2007/06/29 Javascript
Ext JS Grid在IE6 下宽度的问题解决方法
2009/02/15 Javascript
JavaScript中访问节点对象的方法有哪些如何使用
2013/09/24 Javascript
jQuery Validate验证框架经典大全
2015/09/23 Javascript
jquery悬浮提示框完整实例
2016/01/13 Javascript
理解js回收机制通俗易懂版
2016/02/29 Javascript
JavaScript中this的用法实例分析
2016/12/19 Javascript
ionic实现下拉刷新载入数据功能
2017/05/11 Javascript
基于React+Redux的SSR实现方法
2018/07/03 Javascript
微信小程序实现图片上传放大预览删除代码
2020/06/28 Javascript
基于vue-cli、elementUI的Vue超简单入门小例子(推荐)
2019/04/17 Javascript
JS实现轮播图效果
2020/01/11 Javascript
ES6函数实现排它两种写法解析
2020/05/13 Javascript
jQuery实现滑动开关效果
2020/08/02 jQuery
Jquery $.map使用方法实例详解
2020/09/01 jQuery
[02:14]DOTA2英雄基础教程 修补匠
2013/12/23 DOTA
使用python实现strcmp函数功能示例
2014/03/25 Python
Python基于Pymssql模块实现连接SQL Server数据库的方法详解
2017/07/20 Python
老生常谈Python startswith()函数与endswith函数
2017/09/08 Python
python使用jieba实现中文分词去停用词方法示例
2018/03/11 Python
用python处理图片实现图像中的像素访问
2018/05/04 Python
pandas通过索引进行排序的示例
2018/11/16 Python
Python反爬虫技术之防止IP地址被封杀的讲解
2019/01/09 Python
Python循环结构的应用场景详解
2019/07/11 Python
pytorch torch.nn.AdaptiveAvgPool2d()自适应平均池化函数详解
2020/01/03 Python
基于PyTorch的permute和reshape/view的区别介绍
2020/06/18 Python
宝拉珍选澳大利亚官方购物网站:Paula’s Choice澳大利亚
2016/09/13 全球购物
销售会计岗位职责
2014/03/15 职场文书
4S店售后客服自我评价
2014/04/09 职场文书
三八红旗手先进事迹材料
2014/05/13 职场文书
学校交通安全责任书
2014/08/25 职场文书
军训结束新闻稿
2015/07/17 职场文书
《没有任何借口》读后感:完美的执行能力
2020/01/07 职场文书
Mysql中有关Datetime和Timestamp的使用总结
2021/12/06 MySQL