python requests抓取one推送文字和图片代码实例


Posted in Python onNovember 04, 2019

这篇文章主要介绍了python requests抓取one推送文字和图片代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

requests是Python中一个第三方库,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求。接下来将记录一下requests的使用:

from bs4 import BeautifulSoup
from lxml import html
import xml
import requests

#下载图片函数
def download_img(url,name):
  """"
  下载指定url的图片
  url:图片的url;
  name:保存图片的名字
  """
  try:
    respone = requests.get(url)
    f_img = respone.content
    path = r'C:\Users\86131\Desktop\itchat\send_file\images\\%s.jpg'%(name)
    with open(path, "wb")as f:
        f.write(f_img)
  except Exception as e:
    print("---------地址出错------------")

url_list = []

f = requests.get("http://wufazhuce.com/")

# #打印网页内容
# print(f.content.decode())

soup = BeautifulSoup(f.content,"lxml")

try:
  first_div = soup.find("div",attrs={'id':'main-container'}).find('div',attrs={'class':'carousel-inner'})
  a_all = first_div.find_all('a')

  for i in a_all:
    url_list.append(i.attrs['href'])

except Exception as e:
    print("---------出错------------")

#得到one的首页推荐页面
f_1 = requests.get(url_list[0])

#打印网页内容
# print(f_1.content.decode())

soup_1 = BeautifulSoup(f_1.content,"lxml")

try:
  second_div = soup_1.find("div",attrs={'id':'main-container'}).find('div',attrs={'class':'one-cita-wrapper'})
  third_div = soup_1.find("div",attrs={'id':'main-container'}).find('div',attrs={'class':'one-imagen'})

  #获得时期值
  now_month = second_div.find('p',attrs={'class':'may'}).text
  now_one_day = second_div.find('p',attrs={'class':'dom'}).text

  #获得图片的url
  img_url = third_div.find('img').attrs['src']

  #获得一段话并去除开头的空格
  one_text = second_div.find("div",attrs={'class':'one-cita'}).text.strip()

  #将获得日期拼接
  now_day = now_one_day +' '+ now_month

  #调用函数下载图片

  download_img(img_url, now_day)

except Exception as e:
    print("---------出错------------")

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现按行切分文本文件的方法
Apr 18 Python
Python多线程中阻塞(join)与锁(Lock)使用误区解析
Apr 27 Python
Python异常处理操作实例详解
Aug 28 Python
python requests 库请求带有文件参数的接口实例
Jan 03 Python
PyQt5 窗口切换与自定义对话框的实例
Jun 20 Python
python函数与方法的区别总结
Jun 23 Python
用Anaconda安装本地python包的方法及路径问题(图文)
Jul 16 Python
Python中Pyspider爬虫框架的基本使用详解
Jan 27 Python
PyCharm配置KBEngine快速处理代码提示冲突、配置命令问题
Apr 03 Python
pytorch中F.avg_pool1d()和F.avg_pool2d()的使用操作
May 22 Python
python中的class_static的@classmethod的巧妙用法
Jun 22 Python
Django路由层如何获取正确的url
Jul 15 Python
python 五子棋如何获得鼠标点击坐标
Nov 04 #Python
Pandas 缺失数据处理的实现
Nov 04 #Python
python tkinter canvas使用实例
Nov 04 #Python
python matplotlib饼状图参数及用法解析
Nov 04 #Python
python制作朋友圈九宫格图片
Nov 03 #Python
python使用yield压平嵌套字典的超简单方法
Nov 02 #Python
基于python实现从尾到头打印链表
Nov 02 #Python
You might like
用PHP实现弹出消息提示框的两种方法
2013/12/17 PHP
PHP7.0版本备注
2015/07/23 PHP
CodeIgniter基于Email类发邮件的方法
2016/03/29 PHP
PHP简单获取网站百度搜索和搜狗搜索收录量的方法
2016/08/23 PHP
php实现文章置顶功能的方法
2016/10/20 PHP
YII框架行为behaviors用法示例
2019/04/26 PHP
javascript编程起步(第一课)
2007/01/10 Javascript
JavaScript与函数式编程解释
2007/04/27 Javascript
Jquery Ajax学习实例7 Ajax所有过程事件分析示例
2010/03/23 Javascript
jquery制作select列表双向选择示例代码
2014/09/02 Javascript
jQuery取消特定的click事件
2016/02/29 Javascript
Node.js实用代码段之正确拼接Buffer
2016/03/17 Javascript
javascript实现简单计算器效果【推荐】
2016/04/19 Javascript
jQuery Ajax Post 回调函数不执行问题的解决方法
2016/08/15 Javascript
Bootstrap Table使用整理(五)之分页组合查询
2017/06/09 Javascript
在vue组件中使用axios的方法
2018/03/16 Javascript
浅谈手写node可读流之流动模式
2018/06/01 Javascript
layui radio点击事件实现input显示和隐藏的例子
2019/09/02 Javascript
JQuery+drag.js上传图片并且实现图片拖曳
2020/11/18 jQuery
python 正则表达式 概述及常用字符
2009/05/04 Python
python聊天程序实例代码分享
2013/11/18 Python
Python开发微信公众平台的方法详解【基于weixin-knife】
2017/07/08 Python
Python提取频域特征知识点浅析
2019/03/04 Python
如何使用python把ppt转换成pdf
2019/06/29 Python
从训练好的tensorflow模型中打印训练变量实例
2020/01/20 Python
基于Python+QT的gui程序开发实现
2020/07/03 Python
python接入支付宝的实例操作
2020/07/20 Python
Python利用Faiss库实现ANN近邻搜索的方法详解
2020/08/03 Python
CSS3实现闪烁动画效果的方法
2015/02/09 HTML / CSS
资产评估专业学生的自我鉴定
2013/11/14 职场文书
运动会四百米广播稿
2014/01/19 职场文书
企业法人授权委托书
2014/04/03 职场文书
学校党的群众路线教育实践活动领导班子对照检查材料
2014/09/25 职场文书
普通党员四风问题对照检查材料
2014/09/27 职场文书
党干部专题民主生活会对照检查材料思想汇报
2014/10/06 职场文书
小学思想品德教学反思
2016/02/24 职场文书