10个python爬虫入门实例(小结)


Posted in Python onNovember 01, 2020

昨天带伙伴萌学习python爬虫,准备了几个简单的入门实例

涉及主要知识点:

  1. web是如何交互的
  2. requests库的get、post函数的应用
  3. response对象的相关函数,属性
  4. python文件的打开,保存

代码中给出了注释,并且可以直接运行哦

如何安装requests库(安装好python的朋友可以直接参考,没有的,建议先装一哈python环境)

windows用户,Linux用户几乎一样:

打开cmd输入以下命令即可,如果python的环境在C盘的目录,会提示权限不够,只需以管理员方式运行cmd窗口

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

Linux用户类似(ubantu为例): 权限不够的话在命令前加入sudo即可

sudo pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

1.爬取强大的BD页面,打印页面信息

# 第一个爬虫示例,爬取百度页面

import requests #导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://www.baidu.com") #生成一个response对象

response.encoding = response.apparent_encoding #设置编码格式

print("状态码:"+ str( response.status_code ) ) #打印状态码

print(response.text)#输出爬取的信息

2.常用方法之get方法实例,下面还有传参实例

# 第二个get方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://httpbin.org/get") #get方法

print( response.status_code ) #状态码

print( response.text )

3. 常用方法之post方法实例,下面还有传参实例

# 第三个 post方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.post("http://httpbin.org/post") #post方法访问

print( response.status_code ) #状态码

print( response.text )

4. put方法实例

# 第四个 put方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.put("http://httpbin.org/put") # put方法访问

print( response.status_code ) #状态码

print( response.text )

5.常用方法之get方法传参实例(1)

如果需要传多个参数只需要用&符号连接即可如下

# 第五个 get传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get传参

print( response.status_code ) #状态码

print( response.text )

6.常用方法之get方法传参实例(2)

params用字典可以传多个

# 第六个 get传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

data = {
	"name":"hezhi",
	"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get传参

print( response.status_code ) #状态码

print( response.text )

7.常用方法之post方法传参实例(2) 和上一个有没有很像

# 第七个 post传参方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post传参

print( response.status_code ) #状态码

print( response.text )

8.关于绕过反爬机制,以zh爸爸为例

# 第好几个方法实例

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get( "http://www.zhihu.com") #第一次访问知乎,不设置头部信息

print( "第一次,不设头部信息,状态码:"+response.status_code )# 没写headers,不能正常爬取,状态码不是 200

#下面是可以正常爬取的区别,更改了User-Agent字段

headers = {

		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"

}#设置头部信息,伪装浏览器

response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法访问,传入headers参数,

print( response.status_code ) # 200!访问成功的状态码

print( response.text )

9.爬取信息并保存到本地,因为目录关系,在D盘建立了一个叫做爬虫的文件夹,然后保存信息

注意文件保存时的encoding设置

# 爬取一个html并保存

import requests

url = "http://www.baidu.com"

response = requests.get( url )

response.encoding = "utf-8" #设置接收编码格式

print("\nr的类型" + str( type(response) ) )

print("\n状态码是:" + str( response.status_code ) )

print("\n头部信息:" + str( response.headers ) )

print( "\n响应内容:" )

print( response.text )

#保存文件
file = open("D:\\爬虫\\baidu.html","w",encoding="utf") #打开一个文件,w是文件不存在则新建一个文件,这里不用wb是因为不用保存成二进制

file.write( response.text )

file.close()

10.爬取图片,保存到本地

#保存百度图片到本地

import requests #先导入爬虫的库,不然调用不了爬虫的函数

response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到图片响应

file = open("D:\\爬虫\\baidu_logo.gif","wb") #打开一个文件,wb表示以二进制格式打开一个文件只用于写入

file.write(response.content) #写入文件

file.close()#关闭操作,运行完毕后去你的目录看一眼有没有保存成功

到此这篇关于10个python爬虫入门实例(小结)的文章就介绍到这了,更多相关python爬虫入门内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python装饰器decorator用法实例
Nov 10 Python
深入浅析python中的多进程、多线程、协程
Jun 22 Python
python matplotlib坐标轴设置的方法
Dec 05 Python
Python自定义函数定义,参数,调用代码解析
Dec 27 Python
python中单例常用的几种实现方法总结
Oct 13 Python
解决Pycharm界面的子窗口不见了的问题
Jan 17 Python
Python3实现的判断环形链表算法示例
Mar 07 Python
python实现文件助手中查看微信撤回消息
Apr 29 Python
使用虚拟环境打包python为exe 文件的方法
Aug 29 Python
Python使用matplotlib 画矩形的三种方式分析
Oct 31 Python
用Python画小女孩放风筝的示例
Nov 23 Python
Python排序算法之插入排序及其优化方案详解
Jun 11 Python
利用pipenv和pyenv管理多个相互独立的Python虚拟开发环境
Nov 01 #Python
Python经纬度坐标转换为距离及角度的实现
Nov 01 #Python
详解Anaconda安装tensorflow报错问题解决方法
Nov 01 #Python
python Cartopy的基础使用详解
Nov 01 #Python
Python中使用aiohttp模拟服务器出现错误问题及解决方法
Oct 31 #Python
关于python中导入文件到list的问题
Oct 31 #Python
python批量检查两个对应的txt文件的行数是否一致的实例代码
Oct 31 #Python
You might like
php 随机记录mysql rand()造成CPU 100%的解决办法
2010/05/18 PHP
深入HTTP响应状态码速查表的详解
2013/06/07 PHP
ThinkPHP3.1查询语言详解
2014/06/19 PHP
PHP面向对象详解(三)
2015/12/07 PHP
PHP 中 DOMDocument保存xml时中文出现乱码问题的解决方案
2016/09/19 PHP
ASP中进行HTML数据及JS数据编码函数
2009/11/11 Javascript
Javascript和Ajax中文乱码吐血版解决方案
2009/12/21 Javascript
使用js对select动态添加和删除OPTION示例代码
2013/08/12 Javascript
Javascript delete 引用类型对象
2013/11/01 Javascript
jQuery插件分享之分页插件jqPagination
2014/06/06 Javascript
javascript数组遍历for与for in区别详解
2014/12/04 Javascript
easyui form validate总是返回false的原因及解决方法
2016/11/07 Javascript
移动端利用H5实现压缩图片上传功能
2017/03/29 Javascript
nodejs个人博客开发第四步 数据模型
2017/04/12 NodeJs
利用node.js实现自动生成前端项目组件的方法详解
2017/07/12 Javascript
分析JavaScript数组操作难点
2017/12/18 Javascript
seajs和requirejs模块化简单案例分析
2019/08/26 Javascript
JS实现分页导航效果
2020/02/19 Javascript
js+canvas实现纸牌游戏
2020/03/16 Javascript
Nodejs 微信小程序消息推送的实现
2021/01/20 NodeJs
Python中使用第三方库xlrd来读取Excel示例
2015/04/05 Python
python中 logging的使用详解
2017/10/25 Python
Python中getpass模块无回显输入源码解析
2018/01/11 Python
Python爬虫PyQuery库基本用法入门教程
2018/08/04 Python
python编写猜数字小游戏
2019/10/06 Python
Python数据正态性检验实现过程
2020/04/18 Python
css3 background属性调整增强介绍
2010/12/18 HTML / CSS
CSS3 3D旋转rotate效果实例介绍
2016/05/03 HTML / CSS
详解html5 shiv.js和respond.min.js
2018/01/24 HTML / CSS
亚马逊加拿大网站:Amazon.ca
2020/01/06 全球购物
幼儿教师思想汇报
2014/01/10 职场文书
园艺师求职信
2014/03/10 职场文书
制冷与空调专业毕业生推荐信
2014/07/07 职场文书
安全保卫工作竞聘材料
2014/08/25 职场文书
骨干教师申报材料
2014/12/17 职场文书
vue使用wavesurfer.js解决音频可视化播放问题
2022/04/04 Vue.js