python抓取并保存html页面时乱码问题的解决方法


Posted in Python onJuly 01, 2016

本文实例讲述了python抓取并保存html页面时乱码问题的解决方法。分享给大家供大家参考,具体如下:

在用Python抓取html页面并保存的时候,经常出现抓取下来的网页内容是乱码的问题。出现该问题的原因一方面是自己的代码中编码设置有问题,另一方面是在编码设置正确的情况下,网页的实际编码和标示的编码不符合造成的。html页面标示的编码在这里:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

这里提供一种简单的办法解决:使用chardet判断网页的真实编码,同时从url请求返回的info判断标示编码。如果两种编码不同,则使用bs模块扩展为GB18030编码;如果相同则直接写入文件(这里设置系统默认编码为utf-8)。

import urllib2
import sys
import bs4
import chardet
reload(sys)
sys.setdefaultencoding('utf-8')
def download(url):
  htmlfile = open('test.html','w')
  try:
    result = urllib2.urlopen(url)
    content = result.read()
    info = result.info()
    result.close()
  except Exception,e:
    print 'download error!!!'
    print e
  else:
    if content != None:
      charset1 = (chardet.detect(content))['encoding'] #real encoding type
      charset2 = info.getparam('charset') #declared encoding type
      print charset1,' ', charset2
      # case1: charset is not None.
      if charset1 != None and charset2 != None and charset1.lower() != charset2.lower():
        newcont = bs4.BeautifulSoup(content, from_encoding='GB18030')  #coding: GB18030
        for cont in newcont:
          htmlfile.write('%s\n'%cont)
      # case2: either charset is None, or charset is the same.
      else:
        #print sys.getdefaultencoding()
        htmlfile.write(content) #default coding: utf-8
  htmlfile.close()
if __name__ == "__main__":
  url = 'https://3water.com'
  download(url)

得到的test.html文件打开如下,可以看到使用的是UTF-8无BOM编码格式存储的,也就是我们设置的默认编码:

python抓取并保存html页面时乱码问题的解决方法

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
Python 正则表达式入门(初级篇)
Dec 07 Python
python之验证码生成(gvcode与captcha)
Jan 02 Python
python使用参数对嵌套字典进行取值的方法
Apr 26 Python
Django 开发环境与生产环境的区分详解
Jul 26 Python
python性能测量工具cProfile使用解析
Sep 26 Python
通过python扫描二维码/条形码并打印数据
Nov 14 Python
tensorboard 可以显示graph,却不能显示scalar的解决方式
Feb 15 Python
django-crontab实现服务端的定时任务的示例代码
Feb 17 Python
python argparse模块通过后台传递参数实例
Apr 20 Python
pip安装提示Twisted错误问题(Python3.6.4安装Twisted错误)
May 09 Python
Python  word实现读取及导出代码解析
Jul 09 Python
python 无损批量压缩图片(支持保留图片信息)的示例
Sep 22 Python
python处理html转义字符的方法详解
Jul 01 #Python
python简单读取大文件的方法
Jul 01 #Python
python编码总结(编码类型、格式、转码)
Jul 01 #Python
Python编码类型转换方法详解
Jul 01 #Python
Python面向对象编程中关于类和方法的学习笔记
Jun 30 #Python
Python中的time模块与datetime模块用法总结
Jun 30 #Python
详解Swift中属性的声明与作用
Jun 30 #Python
You might like
Yii框架应用组件用法实例分析
2020/05/15 PHP
jQuery 改变CSS样式基础代码
2010/02/11 Javascript
给jqGrid数据行添加修改和删除操作链接(之一)
2011/11/04 Javascript
js汉字排序问题 支持中英文混排,兼容各浏览器,包括CHROME
2011/12/20 Javascript
JavaScript高级程序设计(第3版)学习笔记 概述
2012/10/11 Javascript
jquery fancybox ie6不显示关闭按钮的解决办法
2013/12/25 Javascript
jquery插件推荐浏览器嗅探userAgent
2014/11/09 Javascript
JavaScript获取网页表单action属性的方法
2015/04/02 Javascript
基于Jquery和CSS3制作数字时钟附源码下载(CSS3篇)
2015/11/24 Javascript
微信小程序-详解数据缓存
2016/11/24 Javascript
Bootstrap 按钮样式与使用代码详解
2018/12/09 Javascript
利用Node.js如何实现文件循环覆写
2019/04/05 Javascript
小程序数据通信方法大全(推荐)
2019/04/15 Javascript
JavaScript使用面向对象实现的拖拽功能详解
2019/06/12 Javascript
js+cavans实现图片滑块验证
2020/09/29 Javascript
[50:05]VGJ.S vs OG 2018国际邀请赛淘汰赛BO3 第二场 8.22
2018/08/23 DOTA
python 参数列表中的self 显式不等于冗余
2008/12/01 Python
python实现批量按比例缩放图片效果
2018/03/30 Python
tensorflow使用神经网络实现mnist分类
2018/09/08 Python
python 函数内部修改外部变量的方法
2018/12/18 Python
Python二叉搜索树与双向链表转换算法示例
2019/03/02 Python
python操作excel让工作自动化
2019/08/09 Python
如何用python写个模板引擎
2021/01/14 Python
西班牙英格列斯百货官网:El Corte Inglés
2016/09/25 全球购物
美国汽配连锁巨头Pep Boys官网:轮胎更换、汽车维修服务和汽车零部件
2017/01/14 全球购物
香港唯港荟酒店预订:Hotel ICON
2018/03/27 全球购物
存储过程的优点有哪些
2012/09/27 面试题
网游商务专员求职信
2013/10/15 职场文书
洗煤厂厂长岗位职责
2014/01/03 职场文书
电子商务网站的创业计划书
2014/01/05 职场文书
2014年妇幼卫生工作总结
2014/12/09 职场文书
党员承诺书范文2015
2015/04/27 职场文书
百万英镑观后感
2015/06/09 职场文书
2016年小学优秀班主任事迹材料
2016/02/29 职场文书
《最终幻想14》6.01版本4月5日推出 追加新任务新道具
2022/04/03 其他游戏
Python+Matplotlib图像上指定坐标的位置添加文本标签与注释
2022/04/11 Python