Python实现单词拼写检查


Posted in Python onApril 25, 2015

这几天在翻旧代码时发现以前写的注释部分有很多单词拼写错误,这些单词错得不算离谱,应该可以用工具自动纠错绝大部分。用 Python 写个拼写检查脚本很容易,如果能很好利用 aspell/ispell 这些现成的小工具就更简单了。

要点

1、输入一个拼写错误的单词,调用 aspell -a 后得到一些候选正确单词,然后用距离编辑进一步?鹧〕龈??返拇省1热缭诵 aspell -a,输入 ‘hella' 后得到如下结果:
hell, Helli, hello, heal, Heall, he'll, hells, Heller, Ella, Hall, Hill, Hull, hall, heel, hill, hula, hull, Helga, Helsa, Bella, Della, Mella, Sella, fella, Halli, Hally, Hilly, Holli, Holly, hallo, hilly, holly, hullo, Hell's, hell's

2、什么是距离编辑(Edit-Distance,也叫 Levenshtein algorithm)呢?就是说给定一个单词,通过多次插入、删除、交换、替换单字符的操作后枚举出所有可能的正确拼写,比如输入 ‘hella',经过多次插入、删除、交换、替换单字符的操作后变成:
‘helkla', ‘hjlla', ‘hylla', ‘hellma', ‘khella', ‘iella', ‘helhla', ‘hellag', ‘hela', ‘vhella', ‘hhella', ‘hell', ‘heglla', ‘hvlla', ‘hellaa', ‘ghella', ‘hellar', ‘heslla', ‘lhella', ‘helpa', ‘hello', …

3、综合上面2个集合的结果,并且考虑到一些理论知识可以提高拼写检查的准确度,比如一般来说写错单词都是无意的或者误打,完全错的单词可能性很小,而且单词的第一个字母一般不会拼错。所以可以在上面集合里去掉第一个字母不符合的单词,比如:'Sella', ‘Mella', khella', ‘iella' 等,这里 VPSee 不删除单词,而把这些单词从队列里取出来放到队列最后(优先级降低),所以实在匹配不了以 h 开头的单词才去匹配那些以其他字母开头的单词。

4、程序中用到了外部工具 aspell,如何在 Python 里捕捉外部程序的输入和输出以便在 Python 程序里处理这些输入和输出呢?Python 2.4 以后引入了 subprocess 模块,可以用 subprocess.Popen 来处理。

5、Google 大牛 Peter Norvig 写了一篇 How to Write a Spelling Corrector 很值得一看,大牛就是大牛,21行 Python 就解决拼写问题,而且还不用外部工具,只需要事先读入一个词典文件。本文程序的 edits1 函数就是从牛人家那里 copy 的。

代码

 

#!/usr/bin/python
# A simple spell checker

import os, sys, subprocess, signal

alphabet = 'abcdefghijklmnopqrstuvwxyz'

def found(word, args, cwd = None, shell = True):
  child = subprocess.Popen(args, 
    shell = shell, 
    stdin = subprocess.PIPE, 
    stdout = subprocess.PIPE, 
    cwd = cwd, 
    universal_newlines = True) 
  child.stdout.readline()
  (stdout, stderr) = child.communicate(word)
  if ": " in stdout:
    # remove \n\n
    stdout = stdout.rstrip("\n")
    # remove left part until :
    left, candidates = stdout.split(": ", 1) 
    candidates = candidates.split(", ")
    # making an error on the first letter of a word is less 
    # probable, so we remove those candidates and append them 
    # to the tail of queue, make them less priority
    for item in candidates:
      if item[0] != word[0]: 
        candidates.remove(item)
        candidates.append(item)
    return candidates
  else:
    return None

# copy from http://norvig.com/spell-correct.html
def edits1(word):
  n = len(word)
  return set([word[0:i]+word[i+1:] for i in range(n)] +           
    [word[0:i]+word[i+1]+word[i]+word[i+2:] for i in range(n-1)] +
    [word[0:i]+c+word[i+1:] for i in range(n) for c in alphabet] +
    [word[0:i]+c+word[i:] for i in range(n+1) for c in alphabet])

def correct(word):
  candidates1 = found(word, 'aspell -a')
  if not candidates1:
    print "no suggestion"
    return 

  candidates2 = edits1(word)
  candidates = []
  for word in candidates1:
    if word in candidates2:
      candidates.append(word)
  if not candidates:
    print "suggestion: %s" % candidates1[0]
  else:
    print "suggestion: %s" % max(candidates)

def signal_handler(signal, frame):
  sys.exit(0)

if __name__ == '__main__':
  signal.signal(signal.SIGINT, signal_handler)
  while True:
    input = raw_input()
    correct(input)

更简单的方法

当然直接在程序里调用相关模块最简单了,有个叫做 PyEnchant 的库支持拼写检查,安装 PyEnchant 和 Enchant 后就可以直接在 Python 程序里 import 了:

>>> import enchant
>>> d = enchant.Dict("en_US")
>>> d.check("Hello")
True
>>> d.check("Helo")
False
>>> d.suggest("Helo")
['He lo', 'He-lo', 'Hello', 'Helot', 'Help', 'Halo', 'Hell', 'Held', 'Helm', 'Hero', "He'll"]
>>>
Python 相关文章推荐
python实现的一个火车票转让信息采集器
Jul 09 Python
操作Windows注册表的简单的Python程序制作教程
Apr 07 Python
pygame学习笔记(1):矩形、圆型画图实例
Apr 15 Python
老生常谈Python之装饰器、迭代器和生成器
Jul 26 Python
在java中如何定义一个抽象属性示例详解
Aug 18 Python
Python实现列表删除重复元素的三种常用方法分析
Nov 24 Python
Python的地形三维可视化Matplotlib和gdal使用实例
Dec 09 Python
Python Tkinter模块实现时钟功能应用示例
Jul 23 Python
10 分钟快速入门 Python3的教程
Jan 29 Python
pandas实现to_sql将DataFrame保存到数据库中
Jul 03 Python
Django2.1.7 查询数据返回json格式的实现
Dec 29 Python
matplotlib绘制鼠标的十字光标的实现(内置方式)
Jan 06 Python
在Debian下配置Python+Django+Nginx+uWSGI+MySQL的教程
Apr 25 #Python
使用PDB简单调试Python程序简明指南
Apr 25 #Python
Python脚本判断 Linux 是否运行在虚拟机上
Apr 25 #Python
在Python中使用cookielib和urllib2配合PyQuery抓取网页信息
Apr 25 #Python
使用Python的Tornado框架实现一个一对一聊天的程序
Apr 25 #Python
使用Python发送邮件附件以定时备份MySQL的教程
Apr 25 #Python
安装Python的web.py框架并从hello world开始编程
Apr 25 #Python
You might like
php 301转向实现代码
2008/09/18 PHP
ThinkPHP实现更新数据实例详解(demo)
2016/06/29 PHP
利用php生成验证码
2017/02/23 PHP
laravel5.4利用163邮箱发送邮件的步骤详解
2017/09/22 PHP
js获取本机的外网/广域网ip地址完整源码
2013/08/12 Javascript
在JavaScript中操作时间之setYear()方法的使用
2015/06/12 Javascript
js游戏人物上下左右跑步效果代码分享
2015/08/28 Javascript
laydate.js日期时间选择插件
2017/01/04 Javascript
ES6新特性三: Generator(生成器)函数详解
2017/04/21 Javascript
JavaScript设计模式之策略模式详解
2017/06/09 Javascript
JS表单提交验证、input(type=number) 去三角 刷新验证码
2017/06/21 Javascript
静态页面实现 include 引入公用代码的示例
2017/09/25 Javascript
利用pm2部署多个node.js项目的配置教程
2017/10/22 Javascript
vue将对象新增的属性添加到检测序列的方法
2018/02/24 Javascript
bootstrap treeview 树形菜单带复选框及级联选择功能
2018/06/08 Javascript
npm 常用命令详解(小结)
2019/01/17 Javascript
微信小程序学习笔记之获取位置信息操作图文详解
2019/03/29 Javascript
Vue 组件复用多次自定义参数操作
2020/07/27 Javascript
vue路由切换时取消之前的所有请求操作
2020/09/01 Javascript
[01:43]深扒TI7聊天轮盘语音出处4
2017/05/11 DOTA
[02:55]2018DOTA2国际邀请赛勇士令状不朽珍藏Ⅲ饰品一览
2018/08/01 DOTA
django rest framework之请求与响应(详解)
2017/11/06 Python
Python求一批字符串的最长公共前缀算法示例
2019/03/02 Python
python多线程同步之文件读写控制
2021/02/25 Python
浅谈Python3实现两个矩形的交并比(IoU)
2020/01/18 Python
Python多线程正确用法实例解析
2020/05/30 Python
Django-simple-captcha验证码包使用方法详解
2020/11/28 Python
pytorch 把图片数据转化成tensor的操作
2021/03/04 Python
详解CSS3中border-image的使用
2015/07/18 HTML / CSS
HTML5 Canvas渐进填充与透明实现图像的Mask效果
2013/07/11 HTML / CSS
英国网上购买肉类网站:Great British Meat
2018/10/17 全球购物
DERMAdoctor官网:美国著名皮肤护理品牌
2019/07/06 全球购物
法院个人总结
2015/03/03 职场文书
2015年城乡环境综合治理工作总结
2015/07/24 职场文书
干货:企业内部人才推荐奖励方案!
2019/07/09 职场文书
html5实现点击弹出图片功能
2021/07/16 HTML / CSS