解决python 文本过滤和清理问题


Posted in Python onAugust 28, 2019

问题

某些无聊的脚本小子在Web页面表单中填入了“pýtĥöñ”这样的文本,我们想以某种方式将其清理掉。

解决方案

文本过滤和清理所涵盖的范围非常广泛,涉及文本解析和数据处理方面的问题。在非常简单的层次上,我们可能会用基本的字符串函数(例如str.upper()和str.lower())将文本转换为标准形式。简单的替换操作可通过str.replace()或re.sub()来完成,它们把重点放在移除或修改特定的字符序列上。也可以利用unicodedata.normalize()来规范化文本。

然而我们可能想更进一步。比方说也许想清除整个范围内的字符,或者去掉音符标志。要完成这些任务,可以使用常被忽视的str.translate()方法。为了说明其用法,假设有如下这段混乱的字符串:

>>> s = 'pytĥon\fis\tawesome\r\n'
>>> s
'pytĥon\x0cis\tawesome\r\n'
>>>

第一步是清理空格。要做到这步,先建立一个小型的转换表,然后使用translate()方法:

>>> remap = {
...   ord('\t') : ' ',
...   ord('\f') : ' ',
...   ord('\r') : None    # Deleted
... }
>>> a = s.translate(remap)
>>> a
'pytĥon is awesome\n'

可以看到,类似t和f这样的空格符已经被重新映射成一个单独的空格。回车符r已经完全被删除掉了。

可以利用这种重新映射的思想进一步构建出更加庞大的转换表。例如,我们把所有的Unicode组合字符都去掉:

>>> import unicodedata
>>> import sys
>>> cmb_chrs = dict.fromkeys(c for c in range(sys.maxunicode) if unicodedata.combining(chr(c)))
...
>>> b = unicodedata.normalize('NFD', a)
>>> b
'pytĥon is awesome\n'
>>> b.translate(cmb_chrs)
'python is awesome\n'
>>>

在这个例子中,我们使用dict.fromkeys()方法构建了一个将每个Unicode组合字符都映射为None的字典。

原始输入会通过unicodedata.normalize()方法转换为分离形式,然后再通过translate()方法删除所有的重音符号。我们也可以利用相似的技术来去掉其他类型的字符(例如控制字符)。

下面来看另一个例子。这里有一张转换表将所有的Unicode十进制数字字符映射为它们对应的ASCII版本:

>>> digitmap = { c: ord('0') + unicodedata.digit(chr(c))
...        for c in range(sys.maxunicode)
...        if unicodedata.category(chr(c)) == 'Nd' }
...
>>> len(digitmap)
460
>>> # Arabic digits
>>> x = '\u0661\u0662\u0663'
>>> x.translate(digitmap)
'123'
>>>

另一种用来清理文本的技术涉及I/O解码和编码函数。大致思路是首先对文本做初步的清理,然后通过结合encode()和decode()操作来修改或清理文本。示例如下:

>>> a
'pytĥon is awesome\n'
>>> b = unicodedata.normalize('NFD', a)
>>> b.encode('ascii', 'ignore').decode('ascii')
'python is awesome\n'
>>>

这里的normalize()方法先对原始文本做分解操作。后续的ASCII编码/解码只是简单地一次性丢弃所有不需要的字符。很显然,这种方法只有当我们的最终目标就是ASCII形式的文本时才有用。

讨论

文本过滤和清理的一个主要问题就是运行时的性能。一般来说操作越简单,运行得就越快。对于简单的替换操作,用str.replace()通常是最快的方式——即使必须多次调用它也是如此。比方说如果要清理掉空格符,可以编写如下的代码:

def clean_spaces(s):
  s = s.replace('\r', '')
  s = s.replace('\t', ' ')
  s = s.replace('\f', ' ')
return s

如果试着调用它,就会发现这比使用translate()或者正则表达式的方法要快得多。

另一方面,如果需要做任何高级的操作,比如字符到字符的重映射或删除,那么translate()方法还是非常快的。

从整体来看,我们应该在具体的应用中去进一步揣摩性能方面的问题。不幸的是,想在技术上给出一条“放之四海而皆准”的建议是不可能的,所以应该尝试多种不同的方法,然后做性能统计分析。

尽管本节的内容主要关注的是文本,但类似的技术也同样适用于字节对象(byte),这包括简单的替换、翻译和正则表达式。

总结

以上所述是小编给大家介绍的解决python 文本过滤和清理问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
利用python程序生成word和PDF文档的方法
Feb 14 Python
python类的方法属性与方法属性的动态绑定代码详解
Dec 27 Python
python实现list由于numpy array的转换
Apr 04 Python
两个元祖T1=('a', 'b'),T2=('c', 'd')使用匿名函数将其转变成[{'a': 'c'},{'b': 'd'}]的几种方法
Mar 05 Python
Python基本数据结构与用法详解【列表、元组、集合、字典】
Mar 23 Python
python的内存管理和垃圾回收机制详解
May 18 Python
Django REST Framework序列化外键获取外键的值方法
Jul 26 Python
pytorch实现保证每次运行使用的随机数都相同
Feb 20 Python
python中加背景音乐如何操作
Jul 19 Python
Python读取图像并显示灰度图的实现
Dec 01 Python
关于探究python中sys.argv时遇到的问题详解
Feb 23 Python
浅谈Python中的正则表达式
Jun 28 Python
解决Python对齐文本字符串问题
Aug 28 #Python
python+jinja2实现接口数据批量生成工具
Aug 28 #Python
解决Atom安装Hydrogen无法运行python3的问题
Aug 28 #Python
opencv实现简单人脸识别
Feb 19 #Python
Atom Python 配置Python3 解释器的方法
Aug 28 #Python
python聚类算法解决方案(rest接口/mpp数据库/json数据/下载图片及数据)
Aug 28 #Python
Numpy的简单用法小结
Aug 28 #Python
You might like
PHP5.3的垃圾回收机制(动态存储分配方案)深入理解
2012/12/10 PHP
php strrpos()与strripos()函数
2013/08/31 PHP
PHP代码优化的53个细节
2014/03/03 PHP
PHP环形链表实现方法示例
2017/09/15 PHP
gearman中任务的优先级和返回状态实例分析
2020/02/27 PHP
jQuery 白痴级入门教程
2009/11/11 Javascript
Extjs学习笔记之二 初识Extjs之Form
2010/01/07 Javascript
javascript 获取图片尺寸及放大图片
2013/09/04 Javascript
常用jQuery选择器总结
2014/07/11 Javascript
jquery搜索框效果实现方法
2015/01/16 Javascript
javascript二维数组转置实例
2015/01/22 Javascript
JavaScript中setMonth()方法的使用详解
2015/06/11 Javascript
简单纯js实现点击切换TAB标签实例
2015/08/23 Javascript
jQuery将表单序列化成一个Object对象的实例
2016/11/29 Javascript
微信小程序页面间通信的5种方式
2017/03/31 Javascript
slideToggle+slideup实现手机端折叠菜单效果
2017/05/25 Javascript
JS/HTML5游戏常用算法之追踪算法实例详解
2018/12/12 Javascript
浅谈vue 锚点指令v-anchor的使用
2019/11/13 Javascript
[01:37]DOTA2超级联赛专访ChuaN 传奇般的电竞之路
2013/06/19 DOTA
Python数组遍历的简单实现方法小结
2016/04/27 Python
Python基于Logistic回归建模计算某银行在降低贷款拖欠率的数据示例
2019/01/23 Python
Tensorflow 定义变量,函数,数值计算等名字的更新方式
2020/02/10 Python
css3.0新属性效果在ie下的解决方案
2010/05/10 HTML / CSS
如何配置、使用和清除Smarty缓存
2015/12/23 面试题
木马的传播途径主要有哪些
2016/04/08 面试题
学生会主席竞聘书
2014/03/31 职场文书
植树节活动总结
2014/04/30 职场文书
2014年创先争优活动总结
2014/05/04 职场文书
党的群众路线教育实践活动个人承诺书
2014/05/22 职场文书
党员干部群众路线个人整改措施
2014/09/18 职场文书
党员查摆剖析材料
2014/10/10 职场文书
2014年个人工作总结报告
2014/11/27 职场文书
2015年幼儿园大班工作总结
2015/04/25 职场文书
班干部学习委员竞选稿
2015/11/20 职场文书
高中数学课堂教学反思
2016/02/18 职场文书
js前端面试常见浏览器缓存强缓存及协商缓存实例
2022/06/21 Javascript