python抓取豆瓣图片并自动保存示例学习


Posted in Python onJanuary 10, 2014

环境Python 2.7.6,BS4,在powershell或命令行均可运行。请确保安装了BS模块

# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的图片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 创建文件夹,昨天刚学会
path = os.getcwd()          # 获取此脚本所在目录
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
 os.mkdir(new_path)

def page_loop(page=0):
 url = 'http://www.dbmeizi.com/?p=%s' % page
 content = urllib2.urlopen(url)
 soup = BeautifulSoup(content)
 my_girl = soup.find_all('img')   
    # 加入结束检测,写的不好....
 if my_girl ==[]:
  print u'已经全部抓取完毕'
  sys.exit(0)
 print u'开始抓取'
 for girl in my_girl:
  link = girl.get('src')
  flink = 'http://www.dbmeizi.com/' + link
  print flink
  content2 = urllib2.urlopen(flink).read()
  with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code:   #在OSC上现学的
   code.write(content2)
 page = int(page) + 1
 print u'开始抓取下一页'
 print 'the %s page' % page
 page_loop(page)
page_loop().
Python 相关文章推荐
linux系统使用python获取cpu信息脚本分享
Jan 15 Python
Python的函数嵌套的使用方法
Jan 24 Python
Python中os和shutil模块实用方法集锦
May 13 Python
Python实现把回车符\r\n转换成\n
Apr 23 Python
Python的字典和列表的使用中一些需要注意的地方
Apr 24 Python
Pycharm学习教程(4) Python解释器的相关配置
May 03 Python
Python正则表达式非贪婪、多行匹配功能示例
Aug 08 Python
python实现的发邮件功能示例
Sep 11 Python
Python的赋值、深拷贝与浅拷贝的区别详解
Feb 12 Python
彻底搞懂 python 中文乱码问题(深入分析)
Feb 28 Python
将不规则的Python多维数组拉平到一维的方法实现
Jan 11 Python
浅谈Python响应式类库RxPy
Jun 14 Python
python文件比较示例分享
Jan 10 #Python
python发送伪造的arp请求
Jan 09 #Python
python抓取京东价格分析京东商品价格走势
Jan 09 #Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
You might like
弄了个检测传输的参数是否为数字的Function
2006/12/06 PHP
php+ajax做仿百度搜索下拉自动提示框(有实例)
2012/08/21 PHP
限制ckeditor上传图片文件大小的方法
2013/11/15 PHP
PHP版QQ互联OAuth示例代码分享
2015/07/05 PHP
Laravel 5.3 学习笔记之 安装
2016/08/28 PHP
PHP读取目录树的实现方法分析
2019/03/22 PHP
jQuery EasyUI API 中文文档 - TreeGrid 树表格使用介绍
2011/11/21 Javascript
JavaScript window.location对象
2014/11/14 Javascript
js判断鼠标左、中、右键哪个被点击的方法
2015/01/27 Javascript
JS中完美兼容各大浏览器的scrolltop方法
2015/04/17 Javascript
在JavaScript的jQuery库中操作AJAX的方法讲解
2015/08/15 Javascript
JavaScript自定义分页样式
2017/01/17 Javascript
Vue.js实现简单动态数据处理
2017/02/13 Javascript
JavaScript实现实时更新系统时间的实例代码
2017/04/04 Javascript
Webpack中css-loader和less-loader的使用教程
2017/04/27 Javascript
Angularjs修改密码的实例代码
2017/05/26 Javascript
es6中的解构赋值、扩展运算符和rest参数使用详解
2017/09/28 Javascript
使用JSON格式提交数据到服务端的实例代码
2018/04/01 Javascript
vue生成文件本地打开查看效果的实例
2018/09/06 Javascript
React 使用recharts实现散点地图的示例代码
2018/12/07 Javascript
Vue中Axios从远程/后台读取数据
2019/01/21 Javascript
深入理解Puppeteer的入门教程和实践
2019/03/05 Javascript
vue响应式更新机制及不使用框架实现简单的数据双向绑定问题
2019/06/27 Javascript
微信小程序-API接口安全详解
2019/07/16 Javascript
压缩包密码破解示例分享(类似典破解)
2014/01/17 Python
实现python版本的按任意键继续/退出
2016/09/26 Python
Django Rest framework三种分页方式详解
2019/07/26 Python
PyQt+socket实现远程操作服务器的方法示例
2019/08/22 Python
使用tensorflow显示pb模型的所有网络结点方式
2020/01/23 Python
使用Keras构造简单的CNN网络实例
2020/06/29 Python
tensorflow基于CNN实战mnist手写识别(小白必看)
2020/07/20 Python
产品工艺师的岗位职责
2013/11/15 职场文书
毕业论文致谢怎么写
2015/05/14 职场文书
法人代表资格证明书
2015/06/18 职场文书
2016预备党员培训心得体会
2016/01/08 职场文书
mysql 联合索引生效的条件及索引失效的条件
2021/11/20 MySQL