Python 字符串处理特殊空格\xc2\xa0\t\n Non-breaking space


Posted in Python onFebruary 23, 2020

今天遇到一个问题,使用python的find函数寻找字符串中的第一个空格时没有找到正确的位置,例如:

http://zc.whmc.edu.cn ==> 无法访问的网站或无效的招标网站

Python 字符串处理特殊空格\xc2\xa0\t\n Non-breaking space

使用find(" ")函数寻找时找到的第一个空格对应在==>后面的那个位置。一开始觉得是编码问题,但是文件是用UTF-8编码的,按理说不应该产生编码问题,就用Sublime打开一看是这样的:

可以看到,我的Sublime设置了显示空白,所以第二个红线上方有一个白点,而第一个红线上方却没有,这说明第一个红线上方那个字符确实不是一个空格,也就是说函数的运行没有问题。但那个空格倒底是个什么东西呢?在Sublime中File-->Reopen with Encoding-->Hexadecimal打开文件可以看到是这样的:

Python 字符串处理特殊空格\xc2\xa0\t\n Non-breaking space

在网上可以查到,==>对应的UTF-8编码是\x3d\x3d\x3e,所以前面的那个神秘字符的编码就是\xc2\xa0,上网查到这是一个叫做Non-breaking space的东西,用于阻止在此处自动换行和阻止多个空格被压缩成一个。至于解决方法,先用subplace("\xc2\xa0", " ")把这个特殊的空格替换一下就行了。

去除特殊空格:\xc2\xa0

在去除空格的时候遇到一种情况:

a = '2 '
b = '3'
print a.split(),b

输出结果:

['2\xc2\xa0'] 3

在网上可以查到,==>对应的UTF-8编码是\x3d\x3d\x3e,所以前面的那个神秘字符的编码就是\xc2\xa0,上网查到这是一个叫做Non-breaking space的东西,用于阻止在此处自动换行和阻止多个空格被压缩成一个。至于解决方法,先用subplace("\xc2\xa0", " ")

a = '2 '
b = '3'
 
print a.replace("\xc2\xa0", ""),b

输出结果:

Python 字符串处理特殊空格\xc2\xa0\t\n Non-breaking space

python 爬虫爬取内容时, \xa0 、 \u3000 的含义与处理方法

处理方法

str.replace(u'\xa0', u' ')

最近用 scrapy 爬某网站,发现拿到的内容里面含有 \xa0 、 \u3000 这样的字符,起初还以为是编码不对,搜了一下才知道是见识太少 233 。

\xa0 是不间断空白符  

我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。
而 \xa0 属于 latin1 (ISO/IEC_8859-1)中的扩展字符集字符,代表空白符nbsp(non-breaking space)。
latin1 字符集向下兼容 ASCII ( 0x20~0x7e )。通常我们见到的字符多数是 latin1 的,比如在 MySQL 数据库中。

这里也有一张简陋的Latin1字符集对照表。

\u3000 是全角的空白符

根据Unicode编码标准及其基本多语言面的定义, \u3000 属于CJK字符的CJK标点符号区块内,是空白字符之一。它的名字是 Ideographic Space ,有人译作表意字空格、象形字空格等。顾名思义,就是全角的 CJK 空格。它跟 nbsp 不一样,是可以被换行间断的。常用于制造缩进, wiki 还说用于抬头,但没见过。

这里还有一个 Unicode.org 上关于 CJK 标点符号块的字符代码表。

python中去掉字符串中的\xa0、\t、\n

今天帮女朋友从网络上收集一些信息,但是发现提取出的信息中有“\xa0”,并且无法去掉,查阅了相关资料,后发现该字符表示空格。

\xa0 是不间断空白符  
我们通常所用的空格是 \x20 ,是在标准ASCII可见字符 0x20~0x7e 范围内。
而 \xa0 属于 latin1 (ISO/IEC_8859-1)中的扩展字符集字符,代表空白符nbsp(non-breaking space)。
latin1 字符集向下兼容 ASCII ( 0x20~0x7e )。通常我们见到的字符多数是 latin1 的,比如在 MySQL 数据库中。
有如下信息:

'T-shirt\xa0\xa0短袖圆领衫,体恤衫\xa0,', 'V-neck\xa0\xa0V型领\xa0sleeve\xa0\xa0袖子\xa0,',

我们如何将其中的\xz0去掉呢,试了re模块的sub方法,发现没有作用,于是又开始查阅相关资料,终于解决了该问题。方法如下:

>>> inputstring = u'\n           Door:\xa0Novum     \t   '
>>> move = dict.fromkeys((ord(c) for c in u"\xa0\n\t"))
>>> output = inputstring.translate(move)
>>> output
'           Door:Novum

另外还有一种更简单的方法,利用split方法:

>>> s
'T-shirt\xa0\xa0短袖圆领衫,体恤衫\xa0'
>>> out = "".join(s.split())
>>> out
'T-shirt短袖圆领衫,体恤衫'

可以发现利用translate方法、split()可以完美解决,并且还可以替换\t \n字符,由此又学到了新知识!

关于ord函数:
ord()函数是chr()函数(对于8位的ASCII字符串)或unichr()函数(对于Unicode对象)的配对函数,它以一个字符(长度为1的字符串)作为参数,返回对应的ASCII数值,或者Unicode数值,如果所给的Unicode字符超出了你的Python定义范围,则会引发一个TypeError的异常。

关于fromkeys方法:
dict中的fromkeys方法目的是创建一个只有key的字典,内部利用for循环,使三个字符的asii码值成为可迭代对象(本来的整数是不可迭代的),分别对其迭代,存入字典。

关于translate方法:
Python translate() 方法根据参数table给出的表(包含 256 个字符)转换字符串的字符, 要过滤掉的字符放到 del 参数中。接收到move返回的表(字典),之后对字符串进行替换。

join()方法:
join(): 连接字符串数组。将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串。可见该处用join方法真的是神来之笔,可谓绝妙!

值得注意的是,split方法中不带参数时,表示分割所有换行符、制表符、空格。

python2 可以这样

s=s.replace(unichr(0xa0),'')

到此这篇关于Python 字符串处理特殊空格\xc2\xa0 Non-breaking space的文章就介绍到这了,更多相关Python 特殊空格内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现挑选出来100以内的质数
Mar 24 Python
Python访问纯真IP数据库脚本分享
Jun 29 Python
利用Python学习RabbitMQ消息队列
Nov 30 Python
Python使用sorted排序的方法小结
Jul 28 Python
详解K-means算法在Python中的实现
Dec 05 Python
python numpy 显示图像阵列的实例
Jul 02 Python
Linux上使用Python统计每天的键盘输入次数
Apr 17 Python
关于python多重赋值的小问题
Apr 17 Python
Pandas中resample方法详解
Jul 02 Python
使用Python的turtle模块画国旗
Sep 24 Python
python解释器安装教程的方法步骤
Jul 02 Python
深入了解Python 方法之类方法 & 静态方法
Aug 17 Python
Windows系统下pycharm中的pip换源
Feb 23 #Python
推荐8款常用的Python GUI图形界面开发框架
Feb 23 #Python
PyQt5高级界面控件之QTableWidget的具体使用方法
Feb 23 #Python
PyQt5中QTableWidget如何弹出菜单的示例代码
Feb 23 #Python
Python requests设置代理的方法步骤
Feb 23 #Python
详解Python修复遥感影像条带的两种方式
Feb 23 #Python
python2 对excel表格操作完整示例
Feb 23 #Python
You might like
PHP 和 MySQL 基础教程(四)
2006/10/09 PHP
使用sockets:从新闻组中获取文章(一)
2006/10/09 PHP
php执行sql语句的写法
2009/03/10 PHP
PHP 第二节 数据类型之转换
2012/04/28 PHP
php 多文件上传的实现实例
2016/10/23 PHP
浅谈Yii乐观锁的使用及原理
2017/07/25 PHP
PHP attributes()函数讲解
2019/02/03 PHP
浅谈php的TS和NTS的区别
2019/03/13 PHP
javascript 内存回收机制理解
2011/01/17 Javascript
js delete 用法(删除对象属性及变量)
2014/08/24 Javascript
Javascript限制网页只能在微信内置浏览器中访问
2014/11/09 Javascript
jQuery插件开发精品教程(让你的jQuery更上一个台阶)
2015/11/07 Javascript
基于JavaScript实现动态添加删除表格的行
2016/02/01 Javascript
jQuery实现下拉菜单(内容为时间)的实时更新及图表的随动更新的方法
2016/07/07 Javascript
利用Vue实现移动端图片轮播组件的方法实例
2017/08/23 Javascript
Element-UI中Upload上传文件前端缓存处理示例
2019/02/21 Javascript
Vue3.0结合bootstrap创建多页面应用
2019/05/28 Javascript
ES5和ES6中类的区别总结
2020/12/21 Javascript
[05:17]DOTA2睡衣妹卖萌求签名 CJ第二天全明星影像
2013/07/28 DOTA
python通过imaplib模块读取gmail里邮件的方法
2015/05/08 Python
Python+Wordpress制作小说站
2017/04/14 Python
python+opencv实现摄像头调用的方法
2019/06/22 Python
对Python函数设计规范详解
2019/07/19 Python
Python在OpenCV里实现极坐标变换功能
2019/09/02 Python
Django表单提交后实现获取相同name的不同value值
2020/05/14 Python
CSS3中的@keyframes关键帧动画的选择器绑定
2016/06/13 HTML / CSS
Zavvi美国:英国娱乐之家
2017/03/19 全球购物
英国名牌男装店:Standout
2021/02/17 全球购物
学生个人自我鉴定范文
2014/03/28 职场文书
买房委托公证书
2014/04/08 职场文书
2014年班主任自我评价范文
2014/04/23 职场文书
社区服务标语
2014/07/01 职场文书
暑期培训班策划方案
2014/08/26 职场文书
2015年人民调解工作总结
2015/05/18 职场文书
Python实现灰色关联分析与结果可视化的详细代码
2022/03/25 Python
JS实现数组去重的11种方法总结
2022/04/04 Javascript