Python实现批量下载图片的方法


Posted in Python onJuly 08, 2015

本文实例讲述了Python实现批量下载图片的方法。分享给大家供大家参考。具体实现方法如下:

#!/usr/bin/env python
#-*-coding:utf-8-*-'
#Filename:download_file.py
import os,sys
import re
import urllib
import urllib2
base_url = 'xxx'
array_url = list()
pic_url = list()
inner_url = list()
def get_array_url(array_url,base_url):
  content = urllib.urlopen(base_url).read()
  array_url_a = re.findall(r'/rihan.*?.html',content)
  for url in array_url_a:
    url_a = 'xxx'+url
    #print url_a
    array_url.append(url_a)
def get_inner_url(array_url,inner_url):
  inner_url.append(array_url)
  content = urllib.urlopen(array_url[10]).read()
  content = content.replace(" ","")
  url_a = re.findall(r'<li>.*?</li>',content)
  for i in url_a:
    url = re.findall(r'ahref=\\'.*?.html\\'target',i)
    if len(url)>0:
      # print url[0]
      url_b = re.sub(r'ahref=\\'','',url[0])
      # print url_b
      url_c = re.sub(r'\\'target','',url_b)
      url_c = 'http://xxx/'+re.sub(r'/.*/','',url_c)
      inner_url.append(url_c)
  del inner_url[1]
  # print inner_url
def get_pic_url(pic_url,inner_url,array_url):
  content = urllib.urlopen(array_url).read()
  pic_url_a = re.findall(r'center.*?.jpg',content)
  print 'bbbbbbbbb',len(pic_url_a)
  pic_url_a = re.findall(r'http://.*.jpg',pic_url_a[0])
  pic_url.append(pic_url_a[0])
  j=2
  for i in inner_url:
    jj = '/'+str(j)+'.jpg'
    pic = re.sub(r'/1.jpg',jj,pic_url_a[0])
    pic_url.append(pic)
    j = j+1
  del pic_url[-1]
  for i in pic_url:
    print i
def urlcallback(a,b,c):
  """
    call back function
    a,已下载的数据块
    b,数据块的大小
    c,远程文件的大小
  """
  print "callback"
  prec=100.0*a*b/c
  if 100 < prec:
    prec=100
  print "%.2f%%"%(prec,)
def download(img_url,file_num):
    for img in img_url:
      print img
      img_name = re.sub(r'http://.*/','',img)
      path = 'C:/'+str(file_num)+'/'+img_name
      urllib.urlretrieve(img,path,urlcallback)
get_array_url(array_url,base_url)
file_num = 3
#download(pic_url,file_num)
get_inner_url(url,inner_url)
get_pic_url(pic_url,inner_url,url)
'''
for url in array_url:
  print url
  # get_inner_url(url,inner_url)
 # get_pic_url(pic_url,inner_url)
  get_inner_url(url,inner_url)
  get_pic_url(pic_url,inner_url,url)
  download(pic_url,file_num)
  file_num = file_num+1
  del inner_url[:]
  del pic_url[:]
'''

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
python通过imaplib模块读取gmail里邮件的方法
May 08 Python
python获取当前时间对应unix时间戳的方法
May 15 Python
Python同时向控制台和文件输出日志logging的方法
May 26 Python
Python算法之求n个节点不同二叉树个数
Oct 27 Python
python爬虫获取淘宝天猫商品详细参数
Jun 23 Python
遗传算法python版
Mar 19 Python
Python中安装easy_install的方法
Nov 18 Python
python频繁写入文件时提速的方法
Jun 26 Python
Python IDE Pycharm中的快捷键列表用法
Aug 08 Python
python两个list[]相加的实现方法
Sep 23 Python
Python Selenium XPath根据文本内容查找元素的方法
Dec 07 Python
Python实现王者荣耀自动刷金币的完整步骤
Jan 22 Python
python数据结构之图的实现方法
Jul 08 #Python
python数据结构之图深度优先和广度优先实例详解
Jul 08 #Python
python中偏函数partial用法实例分析
Jul 08 #Python
Python使用bs4获取58同城城市分类的方法
Jul 08 #Python
Python实现批量修改文件名实例
Jul 08 #Python
Python查询阿里巴巴关键字排名的方法
Jul 08 #Python
浅谈Python中的闭包
Jul 08 #Python
You might like
解决dede生成静态页和动态页转换的一些问题,及火车采集入库生成动态的办法
2007/03/29 PHP
php 静态变量的初始化
2009/11/15 PHP
php写app接口并返回json数据的实例(分享)
2017/05/20 PHP
PHP实现的MD5结合RSA签名算法实例
2017/10/07 PHP
一个不错的用JavaScript实现的UBB编码函数
2007/03/09 Javascript
js数组的基本用法及数组根据下标(数值或字符)移除元素
2013/10/20 Javascript
jquery获取选中的文本和值的方法
2014/07/08 Javascript
分享一款基于jQuery的视频播放插件
2014/10/09 Javascript
Javascript中Array.prototype.map()详解
2014/10/22 Javascript
jQuery判断元素上是否绑定了指定事件的方法
2015/03/17 Javascript
AngularJS中directive指令使用之事件绑定与指令交互用法示例
2016/11/22 Javascript
详解Angular的数据显示优化处理
2016/12/26 Javascript
vue-router:嵌套路由的使用方法
2017/02/21 Javascript
vue2.0使用swiper组件实现轮播效果
2017/11/27 Javascript
基于cropper.js封装vue实现在线图片裁剪组件功能
2018/03/01 Javascript
深入浅析Vue中的slots/scoped slots
2018/04/03 Javascript
解决vue脚手架项目打包后路由视图不显示的问题
2018/09/20 Javascript
通过JavaScript下载文件到本地的方法(单文件)
2019/03/17 Javascript
微信公众号开发之微信支付代码记录的实现
2019/10/16 Javascript
js实现文字头像的生成代码
2020/03/07 Javascript
JavaScript枚举选择jquery插件代码实例
2020/11/17 jQuery
JS中循环遍历数组的四种方式总结
2021/01/23 Javascript
Python实现抓取城市的PM2.5浓度和排名
2015/03/19 Python
使用python编写简单的小程序编译成exe跑在win10上
2018/01/15 Python
在Pycharm中自动添加时间日期作者等信息的方法
2019/01/16 Python
Python中无限循环需要什么条件
2020/05/27 Python
html5使用canvas画一条线
2014/12/15 HTML / CSS
关于HTML5语义标签的实践(blog页面)
2016/07/12 HTML / CSS
英国现代市场:ARKET
2019/04/10 全球购物
施华洛世奇西班牙官网:SWAROVSKI西班牙
2019/06/06 全球购物
俄罗斯设计师家具购物网站:The Furnish
2019/12/01 全球购物
学校募捐倡议书
2014/05/14 职场文书
教代会闭幕词
2015/01/28 职场文书
人事行政主管岗位职责
2015/04/09 职场文书
课程设计感想范文
2015/08/11 职场文书
Windows下使用Nginx+Tomcat做负载均衡的完整步骤
2021/03/31 Servers