Python网络爬虫出现乱码问题的解决方法


Posted in Python onJanuary 05, 2017

关于爬虫乱码有很多各式各样的问题,这里不仅是中文乱码,编码转换、还包括一些如日文、韩文 、俄文、藏文之类的乱码处理,因为解决方式是一致的,故在此统一说明。

网络爬虫出现乱码的原因

源网页编码和爬取下来后的编码格式不一致。
如源网页为gbk编码的字节流,而我们抓取下后程序直接使用utf-8进行编码并输出到存储文件中,这必然会引起乱码 即当源网页编码和抓取下来后程序直接使用处理编码一致时,则不会出现乱码; 此时再进行统一的字符编码也就不会出现乱码了

注意区分

  • 源网编码A、
  • 程序直接使用的编码B、
  • 统一转换字符的编码C。

乱码的解决方法

确定源网页的编码A,编码A往往在网页中的三个位置

1.http header的Content-Type
获取服务器 header 的站点可以通过它来告知浏览器一些页面内容的相关信息。 Content-Type 这一条目的写法就是 "text/html; charset=utf-8"。

2.meta charset

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> 

3.网页头中Document定义

<script type="text/javascript"> 
if(document.charset){ 
 alert(document.charset+"!!!!"); 
 document.charset = 'GBK'; 
 alert(document.charset); 
} 
else if(document.characterSet){ 
 alert(document.characterSet+"????"); 
 document.characterSet = 'GBK'; 
 alert(document.characterSet); 
}

在获取源网页编码时,依次判断下这三部分数据即可,从前往后,优先级亦是如此。
以上三者中均没有编码信息 一般采用chardet等第三方网页编码智能识别工具来做

安装: pip install chardet

官方网站: http://chardet.readthedocs.io/en/latest/usage.html

Python chardet 字符编码判断

使用 chardet 可以很方便的实现字符串/文件的编码检测 虽然HTML页面有charset标签,但是有些时候是不对的。那么chardet就能帮我们大忙了。
chardet实例

import urllib 
rawdata = urllib.urlopen('https://3water.com/').read() 
import chardet 
chardet.detect(rawdata) 
{'confidence': 0.99, 'encoding': 'GB2312'}

chardet可以直接用detect函数来检测所给字符的编码。函数返回值为字典,有2个元素,一个是检测的可信度,另外一个就是检测到的编码。

在开发自用爬虫过程中如何处理汉字编码?
下面所说的都是针对python2.7,如果不加处理,采集到的都是乱码,解决的方法是将html处理成统一的utf-8编码 遇到windows-1252编码,属于chardet编码识别训练未完成

import chardet 
a='abc' 
type(a) 
str 
chardet.detect(a) 
{'confidence': 1.0, 'encoding': 'ascii'} 
 
 
a ="我" 
chardet.detect(a) 
{'confidence': 0.73, 'encoding': 'windows-1252'} 
a.decode('windows-1252') 
u'\xe6\u02c6\u2018' 
chardet.detect(a.decode('windows-1252').encode('utf-8')) 
type(a.decode('windows-1252')) 
unicode 
type(a.decode('windows-1252').encode('utf-8')) 
str 
chardet.detect(a.decode('windows-1252').encode('utf-8')) 
{'confidence': 0.87625, 'encoding': 'utf-8'} 
 
 
a ="我是中国人" 
type(a) 
str 
{'confidence': 0.9690625, 'encoding': 'utf-8'} 
chardet.detect(a) 
# -*- coding:utf-8 -*- 
import chardet 
import urllib2 
#抓取网页html 
html = urllib2.urlopen('https://3water.com/').read() 
print html 
mychar=chardet.detect(html) 
print mychar 
bianma=mychar['encoding'] 
if bianma == 'utf-8' or bianma == 'UTF-8': 
 html=html.decode('utf-8','ignore').encode('utf-8') 
else: 
 html =html.decode('gb2312','ignore').encode('utf-8') 
print html 
print chardet.detect(html)

python代码文件的编码
py文件默认是ASCII编码,中文在显示时会做一个ASCII到系统默认编码的转换,这时就会出错:SyntaxError: Non-ASCII character。需要在代码文件的第一行添加编码指示:

# -*- coding:utf-8 -*- 
 
print '中文'

像上面那样直接输入的字符串是按照代码文件的编码'utf-8'来处理的
如果用unicode编码,以下方式:

s1 = u'中文' #u表示用unicode编码方式储存信息

decode是任何字符串具有的方法,将字符串转换成unicode格式,参数指示源字符串的编码格式。
encode也是任何字符串具有的方法,将字符串转换成参数指定的格式。

更多内容请参考专题《python爬取功能汇总》进行学习。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用Python遍历C盘dll文件的方法
May 06 Python
python判断给定的字符串是否是有效日期的方法
May 13 Python
在Mac OS系统上安装Python的Pillow库的教程
Nov 20 Python
Python argv用法详解
Jan 08 Python
安装Python和pygame及相应的环境变量配置(图文教程)
Jun 04 Python
为什么str(float)在Python 3中比Python 2返回更多的数字
Oct 16 Python
使用Python获取网段IP个数以及地址清单的方法
Nov 01 Python
Python3离线安装Requests模块问题
Oct 13 Python
利用Vscode进行Python开发环境配置的步骤
Jun 22 Python
Python 绘制可视化折线图
Jul 22 Python
Python logging模块原理解析及应用
Aug 13 Python
python+appium+yaml移动端自动化测试框架实现详解
Nov 24 Python
python fabric实现远程部署
Jan 05 #Python
python 捕获 shell/bash 脚本的输出结果实例
Jan 04 #Python
python 捕获shell脚本的输出结果实例
Jan 04 #Python
完美解决Python2操作中文名文件乱码的问题
Jan 04 #Python
python去除空格和换行符的实现方法(推荐)
Jan 04 #Python
python去掉行尾的换行符方法
Jan 04 #Python
python对json的相关操作实例详解
Jan 04 #Python
You might like
PHP 压缩文件夹的类代码
2009/11/05 PHP
深入掌握include_once与require_once的区别
2013/06/17 PHP
PHP数据库连接mysql与mysqli对比分析
2016/01/04 PHP
使用php从身份证号中获取一系列线索(星座、生肖、生日等)
2016/05/11 PHP
centos 7.2下搭建LNMP环境教程
2016/11/20 PHP
laravel 解决crontab不执行的问题
2019/10/22 PHP
TP5框架页面跳转样式操作示例
2020/04/05 PHP
JavaScript 模式之工厂模式(Factory)应用介绍
2012/11/15 Javascript
纯js和css实现渐变色包括静态渐变和动态渐变
2014/05/29 Javascript
JSP中使用JavaScript动态插入删除输入框实现代码
2014/06/13 Javascript
js中document.write的那点事
2014/12/12 Javascript
jquery控制表单输入框显示默认值的方法
2015/05/22 Javascript
原生JS实现轮播效果+学前端的感受(防止走火入魔)
2016/08/21 Javascript
js手动播放图片实现图片轮播效果
2016/09/17 Javascript
Angular4学习笔记之新建项目的方法
2017/07/18 Javascript
React styled-components设置组件属性的方法
2018/08/07 Javascript
小程序云开发实战小结
2018/10/25 Javascript
Vue项目路由刷新的实现代码
2019/04/17 Javascript
jquery ajax 请求小技巧实例分析
2019/11/11 jQuery
vue移动端模态框(可传参)的实现
2019/11/20 Javascript
vue 如何使用递归组件
2020/10/23 Javascript
解决vant-UI库修改样式无效的问题
2020/11/03 Javascript
js实现电灯开关效果
2021/01/19 Javascript
Python实现读取目录所有文件的文件名并保存到txt文件代码
2014/11/22 Python
Python字符串处理实例详解
2017/05/18 Python
Python OpenCV 直方图的计算与显示的方法示例
2018/02/08 Python
python线程池threadpool使用篇
2018/04/27 Python
python实现多层感知器
2019/01/18 Python
Python3 实现文件批量重命名示例代码
2019/06/03 Python
从列表或字典创建Pandas的DataFrame对象的方法
2019/07/06 Python
Django的ListView超详细用法(含分页paginate)
2020/05/21 Python
pytorch 计算ConvTranspose1d输出特征大小方式
2020/06/23 Python
浅谈matplotlib 绘制梯度下降求解过程
2020/07/12 Python
介绍下WebSphere的安全性
2013/01/31 面试题
对照四风自我剖析材料
2014/10/07 职场文书
浅谈Vue的computed计算属性
2022/03/21 Vue.js