Python3简单爬虫抓取网页图片代码实例


Posted in Python onAugust 26, 2019

现在网上有很多python2写的爬虫抓取网页图片的实例,但不适用新手(新手都使用python3环境,不兼容python2),

所以我用Python3的语法写了一个简单抓取网页图片的实例,希望能够帮助到大家,并希望大家批评指正。

import urllib.request
import re
import os
import urllib
#根据给定的网址来获取网页详细信息,得到的html就是网页的源代码 
def getHtml(url):
  page = urllib.request.urlopen(url)
  html = page.read()
  return html.decode('UTF-8')

def getImg(html):
  reg = r'src="(.+?\.jpg)" pic_ext'
  imgre = re.compile(reg)
  imglist = imgre.findall(html)#表示在整个网页中过滤出所有图片的地址,放在imglist中
  x = 0
  path = 'D:\\test' 
  # 将图片保存到D:\\test文件夹中,如果没有test文件夹则创建
  if not os.path.isdir(path): 
    os.makedirs(path) 
  paths = path+'\\'   #保存在test路径下 

  for imgurl in imglist: 
    urllib.request.urlretrieve(imgurl,'{0}{1}.jpg'.format(paths,x)) #打开imglist中保存的图片网址,并下载图片保存在本地,format格式化字符串 
    x = x + 1 
  return imglist
html = getHtml("http://tieba.baidu.com/p/2460150866")#获取该网址网页详细信息,得到的html就是网页的源代码 
print (getImg(html)) #从网页源代码中分析并下载保存图片

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
10款最好的Web开发的 Python 框架
Mar 18 Python
用Python程序抓取网页的HTML信息的一个小实例
May 02 Python
总结python实现父类调用两种方法的不同
Jan 15 Python
Python使用Scrapy保存控制台信息到文本解析
Dec 27 Python
python 动态迁移solr数据过程解析
Sep 04 Python
python 实现矩阵按对角线打印
Nov 29 Python
Pytorch对Himmelblau函数的优化详解
Feb 29 Python
python简单实现最大似然估计&scipy库的使用详解
Apr 15 Python
python利用os模块编写文件复制功能——copy()函数用法
Jul 13 Python
python绘制箱型图
Apr 27 Python
七个非常实用的Python工具包总结
Jun 15 Python
python中tkinter复选框使用操作
Nov 11 Python
python 数据提取及拆分的实现代码
Aug 26 #Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
You might like
上海永华YH-R296(华普R-96)12波段立体声收音机的分析和打理
2021/03/02 无线电
php读取数据库信息的几种方法
2008/05/24 PHP
php实现统计邮件大小的方法
2013/08/06 PHP
PHP的fsockopen、pfsockopen函数被主机商禁用的解决办法
2014/07/08 PHP
深入探究PHP的多进程编程方法
2015/08/18 PHP
php防止sql注入的方法详解
2017/02/20 PHP
Laravel实现定时任务的示例代码
2017/08/10 PHP
php中yii框架实例用法
2020/12/22 PHP
限制文本字节数js代码
2007/03/06 Javascript
js获取php变量的实现代码
2013/08/10 Javascript
jQuery功能函数详解
2015/02/01 Javascript
javascript递归回溯法解八皇后问题
2015/04/22 Javascript
javascript实现简单的全选和反选功能
2016/01/05 Javascript
Boostrap实现的登录界面实例代码
2016/10/09 Javascript
详解JavaScript数据类型和判断方法
2020/09/04 Javascript
详解Vue中的自定义指令
2020/12/07 Vue.js
[03:30]DOTA2完美“圣”典精彩集锦
2016/12/27 DOTA
Python中变量交换的例子
2014/08/25 Python
Python字符串处理实现单词反转
2017/06/14 Python
matplotlib中legend位置调整解析
2017/12/19 Python
python处理大日志文件
2019/07/23 Python
python如何通过twisted搭建socket服务
2020/02/03 Python
python正则过滤字母、中文、数字及特殊字符方法详解
2020/02/11 Python
Pytorch 使用opnecv读入图像由HWC转为BCHW格式方式
2020/06/02 Python
html5指南-6.如何创建离线web应用程序实现离线访问
2013/01/07 HTML / CSS
HTML5实现直播间评论滚动效果的代码
2020/05/27 HTML / CSS
可以在一个PHP文件里面include另外一个PHP文件两次吗
2015/05/22 面试题
大学生党课思想汇报
2013/12/29 职场文书
幼儿园中班新学期寄语
2014/01/18 职场文书
安全生产先进个人材料
2014/02/06 职场文书
陈欧广告词
2014/03/14 职场文书
党员服务承诺书
2014/05/28 职场文书
2015年七夕爱情寄语
2015/03/24 职场文书
2015年语文教研组工作总结
2015/05/23 职场文书
2019银行竞聘书
2019/06/21 职场文书
如何用python反转图片,视频
2021/04/24 Python