python抓取豆瓣图片并自动保存示例学习


Posted in Python onJanuary 10, 2014

环境Python 2.7.6,BS4,在powershell或命令行均可运行。请确保安装了BS模块

# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的图片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 创建文件夹,昨天刚学会
path = os.getcwd()          # 获取此脚本所在目录
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
 os.mkdir(new_path)

def page_loop(page=0):
 url = 'http://www.dbmeizi.com/?p=%s' % page
 content = urllib2.urlopen(url)
 soup = BeautifulSoup(content)
 my_girl = soup.find_all('img')   
    # 加入结束检测,写的不好....
 if my_girl ==[]:
  print u'已经全部抓取完毕'
  sys.exit(0)
 print u'开始抓取'
 for girl in my_girl:
  link = girl.get('src')
  flink = 'http://www.dbmeizi.com/' + link
  print flink
  content2 = urllib2.urlopen(flink).read()
  with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code:   #在OSC上现学的
   code.write(content2)
 page = int(page) + 1
 print u'开始抓取下一页'
 print 'the %s page' % page
 page_loop(page)
page_loop().
Python 相关文章推荐
python 连接各类主流数据库的实例代码
Jan 30 Python
pandas 读取各种格式文件的方法
Jun 22 Python
python中比较两个列表的实例方法
Jul 04 Python
Python全栈之列表数据类型详解
Oct 01 Python
Python GUI编程学习笔记之tkinter控件的介绍及基本使用方法详解
Mar 30 Python
Python3实现个位数字和十位数字对调, 其乘积不变
May 03 Python
Keras: model实现固定部分layer,训练部分layer操作
Jun 28 Python
Python tempfile模块生成临时文件和临时目录
Sep 30 Python
Python远程linux执行命令实现
Nov 11 Python
基于OpenCV的网络实时视频流传输的实现
Nov 15 Python
详解OpenCV获取高动态范围(HDR)成像
Apr 29 Python
LyScript实现绕过反调试保护的示例详解
Aug 14 Python
python文件比较示例分享
Jan 10 #Python
python发送伪造的arp请求
Jan 09 #Python
python抓取京东价格分析京东商品价格走势
Jan 09 #Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
You might like
德劲1107的电路分析与打磨
2021/03/02 无线电
PHP如何编写易读的代码
2007/07/10 PHP
使用Discuz关键词服务器实现PHP中文分词
2014/03/11 PHP
php中static 静态变量和普通变量的区别
2016/12/01 PHP
PHP实现浏览器中直接输出图片的方法示例
2018/03/14 PHP
jquery中获得$.ajax()事件返回的值并添加事件的方法
2010/04/15 Javascript
javascript中substr,substring,slice.splice的区别说明
2010/11/25 Javascript
jQuery源码分析-01总体架构分析
2011/11/14 Javascript
js综合应用实例简单的表格统计
2013/09/03 Javascript
Tab切换组件(选项卡功能)实例代码
2013/11/21 Javascript
jQuery实现在下拉列表选择时获取json数据的方法
2015/04/16 Javascript
AngularJS中的$watch(),$digest()和$apply()区分
2016/04/04 Javascript
浅谈JS继承_借用构造函数 & 组合式继承
2016/08/16 Javascript
JS实现按钮添加背景音乐示例代码
2017/10/17 Javascript
微信小程序使用slider设置数据值及switch开关组件功能【附源码下载】
2017/12/09 Javascript
基于vue.js实现分页查询功能
2018/12/29 Javascript
浅谈Angular单元测试总结
2019/03/22 Javascript
js获取浏览器地址(获取第1个斜杠后的内容)
2019/09/03 Javascript
JavaScript中的null和undefined用法解析
2019/09/30 Javascript
基于JavaScript判断两个对象内容是否相等
2020/01/10 Javascript
jquery实现轮播图特效
2020/04/12 jQuery
实例讲解python函数式编程
2014/06/09 Python
用Python实现web端用户登录和注册功能的教程
2015/04/30 Python
浅谈python import引入不同路径下的模块
2017/07/11 Python
python之MSE、MAE、RMSE的使用
2020/02/24 Python
如何使用PyCharm引入需要使用的包的方法
2020/09/22 Python
使用CSS3配合IE滤镜实现渐变和投影的效果
2015/09/06 HTML / CSS
大学生如何写自荐信
2014/01/08 职场文书
公司年会演讲稿范文
2014/01/11 职场文书
在校硕士自我鉴定
2014/01/23 职场文书
退伍老兵事迹材料
2014/01/31 职场文书
少年闰土教学反思
2014/02/22 职场文书
入党政审材料范文
2014/12/24 职场文书
家装业务员岗位职责
2015/04/03 职场文书
企业员工辞职信范文
2015/05/12 职场文书
MySQL数据库之存储过程 procedure
2022/06/16 MySQL