Python实现单词拼写检查


Posted in Python onApril 25, 2015

这几天在翻旧代码时发现以前写的注释部分有很多单词拼写错误,这些单词错得不算离谱,应该可以用工具自动纠错绝大部分。用 Python 写个拼写检查脚本很容易,如果能很好利用 aspell/ispell 这些现成的小工具就更简单了。

要点

1、输入一个拼写错误的单词,调用 aspell -a 后得到一些候选正确单词,然后用距离编辑进一步?鹧〕龈??返拇省1热缭诵 aspell -a,输入 ‘hella' 后得到如下结果:
hell, Helli, hello, heal, Heall, he'll, hells, Heller, Ella, Hall, Hill, Hull, hall, heel, hill, hula, hull, Helga, Helsa, Bella, Della, Mella, Sella, fella, Halli, Hally, Hilly, Holli, Holly, hallo, hilly, holly, hullo, Hell's, hell's

2、什么是距离编辑(Edit-Distance,也叫 Levenshtein algorithm)呢?就是说给定一个单词,通过多次插入、删除、交换、替换单字符的操作后枚举出所有可能的正确拼写,比如输入 ‘hella',经过多次插入、删除、交换、替换单字符的操作后变成:
‘helkla', ‘hjlla', ‘hylla', ‘hellma', ‘khella', ‘iella', ‘helhla', ‘hellag', ‘hela', ‘vhella', ‘hhella', ‘hell', ‘heglla', ‘hvlla', ‘hellaa', ‘ghella', ‘hellar', ‘heslla', ‘lhella', ‘helpa', ‘hello', …

3、综合上面2个集合的结果,并且考虑到一些理论知识可以提高拼写检查的准确度,比如一般来说写错单词都是无意的或者误打,完全错的单词可能性很小,而且单词的第一个字母一般不会拼错。所以可以在上面集合里去掉第一个字母不符合的单词,比如:'Sella', ‘Mella', khella', ‘iella' 等,这里 VPSee 不删除单词,而把这些单词从队列里取出来放到队列最后(优先级降低),所以实在匹配不了以 h 开头的单词才去匹配那些以其他字母开头的单词。

4、程序中用到了外部工具 aspell,如何在 Python 里捕捉外部程序的输入和输出以便在 Python 程序里处理这些输入和输出呢?Python 2.4 以后引入了 subprocess 模块,可以用 subprocess.Popen 来处理。

5、Google 大牛 Peter Norvig 写了一篇 How to Write a Spelling Corrector 很值得一看,大牛就是大牛,21行 Python 就解决拼写问题,而且还不用外部工具,只需要事先读入一个词典文件。本文程序的 edits1 函数就是从牛人家那里 copy 的。

代码

 

#!/usr/bin/python
# A simple spell checker

import os, sys, subprocess, signal

alphabet = 'abcdefghijklmnopqrstuvwxyz'

def found(word, args, cwd = None, shell = True):
  child = subprocess.Popen(args, 
    shell = shell, 
    stdin = subprocess.PIPE, 
    stdout = subprocess.PIPE, 
    cwd = cwd, 
    universal_newlines = True) 
  child.stdout.readline()
  (stdout, stderr) = child.communicate(word)
  if ": " in stdout:
    # remove \n\n
    stdout = stdout.rstrip("\n")
    # remove left part until :
    left, candidates = stdout.split(": ", 1) 
    candidates = candidates.split(", ")
    # making an error on the first letter of a word is less 
    # probable, so we remove those candidates and append them 
    # to the tail of queue, make them less priority
    for item in candidates:
      if item[0] != word[0]: 
        candidates.remove(item)
        candidates.append(item)
    return candidates
  else:
    return None

# copy from http://norvig.com/spell-correct.html
def edits1(word):
  n = len(word)
  return set([word[0:i]+word[i+1:] for i in range(n)] +           
    [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] +
    [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] +
    [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])

def correct(word):
  candidates1 = found(word, 'aspell -a')
  if not candidates1:
    print "no suggestion"
    return 

  candidates2 = edits1(word)
  candidates = []
  for word in candidates1:
    if word in candidates2:
      candidates.append(word)
  if not candidates:
    print "suggestion: %s" % candidates1[0]
  else:
    print "suggestion: %s" % max(candidates)

def signal_handler(signal, frame):
  sys.exit(0)

if __name__ == '__main__':
  signal.signal(signal.SIGINT, signal_handler)
  while True:
    input = raw_input()
    correct(input)

更简单的方法

当然直接在程序里调用相关模块最简单了,有个叫做 PyEnchant 的库支持拼写检查,安装 PyEnchant 和 Enchant 后就可以直接在 Python 程序里 import 了:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>
Python 相关文章推荐
谈谈如何手动释放Python的内存
Dec 17 Python
老生常谈Python序列化和反序列化
Jun 28 Python
Python实现将HTML转换成doc格式文件的方法示例
Nov 20 Python
Python基于ThreadingTCPServer创建多线程代理的方法示例
Jan 11 Python
python爬取各类文档方法归类汇总
Mar 22 Python
python中的decorator的作用详解
Jul 26 Python
python 移动图片到另外一个文件夹的实例
Jan 10 Python
完美解决ARIMA模型中plot_acf画不出图的问题
Jun 04 Python
学python爬虫能做什么
Jul 29 Python
15个Pythonic的代码示例(值得收藏)
Oct 29 Python
python 爬虫之selenium可视化爬虫的实现
Dec 04 Python
python计算列表元素与乘积详情
Aug 05 Python
在Debian下配置Python+Django+Nginx+uWSGI+MySQL的教程
Apr 25 #Python
使用PDB简单调试Python程序简明指南
Apr 25 #Python
Python脚本判断 Linux 是否运行在虚拟机上
Apr 25 #Python
在Python中使用cookielib和urllib2配合PyQuery抓取网页信息
Apr 25 #Python
使用Python的Tornado框架实现一个一对一聊天的程序
Apr 25 #Python
使用Python发送邮件附件以定时备份MySQL的教程
Apr 25 #Python
安装Python的web.py框架并从hello world开始编程
Apr 25 #Python
You might like
PHP二维数组去重实例分析
2016/11/18 PHP
PHP 中使用explode()函数切割字符串为数组的示例
2017/05/06 PHP
在laravel中使用with实现动态添加where条件
2019/10/10 PHP
Javascript的IE和Firefox兼容性汇编(zz)
2007/02/02 Javascript
理解Javascript_06_理解对象的创建过程
2010/10/15 Javascript
jQuery中append、insertBefore、after与insertAfter的简单用法与注意事项
2020/04/04 Javascript
jquery append()方法与html()方法的区别及使用介绍
2014/08/01 Javascript
Vue应用部署到服务器的正确方式
2017/07/15 Javascript
[js高手之路]设计模式系列课程-发布者,订阅者重构购物车的实例
2017/08/29 Javascript
Js利用console计算代码运行时间的方法示例
2017/09/24 Javascript
vue编译打包本地查看index文件的方法
2018/02/23 Javascript
详解Vue Elememt-UI构建管理后台
2018/02/27 Javascript
vuejs+element UI点击编辑表格某一行时获取内容填入表单的示例
2018/10/31 Javascript
Three.JS实现三维场景
2018/12/30 Javascript
浅谈关于JS下大批量异步任务按顺序执行解决方案一点思考
2019/01/08 Javascript
javascript中如何判断类型汇总
2019/05/14 Javascript
微信小程序实现聊天室
2020/08/21 Javascript
JS继承实现方法及优缺点详解
2020/09/02 Javascript
[01:03:42]VP vs VGJ.S 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
python生成器的使用方法
2013/11/21 Python
简单介绍Python中的readline()方法的使用
2015/05/24 Python
Python实现的当前时间多加一天、一小时、一分钟操作示例
2018/05/21 Python
python中将两组数据放在一起按照某一固定顺序shuffle的实例
2019/07/15 Python
基于Python脚本实现邮件报警功能
2020/05/20 Python
python使用建议与技巧分享(一)
2020/08/17 Python
python 爬虫爬取京东ps4售卖情况
2020/12/18 Python
python Matplotlib基础--如何添加文本和标注
2021/01/26 Python
三星英国官网:Samsung英国
2018/09/25 全球购物
德国自行车商店:Tretwerk
2019/06/21 全球购物
屈臣氏菲律宾官网:Watsons菲律宾
2020/06/30 全球购物
2014最新股权信托合同协议书
2014/11/18 职场文书
圣诞节开幕词
2015/01/29 职场文书
清明节网上祭英烈寄语2015
2015/03/04 职场文书
物业公司管理制度
2015/08/05 职场文书
假如给我三天光明:舟逆水而行,人遇挫而达 
2019/10/29 职场文书
angular异步验证器防抖实例详解
2022/03/31 Javascript