一个入门级python爬虫教程详解


Posted in Python onJanuary 27, 2021

前言

本文目的:根据本人的习惯与理解,用最简洁的表述,介绍爬虫的定义、组成部分、爬取流程,并讲解示例代码。

基础

爬虫的定义:定向抓取互联网内容(大部分为网页)、并进行自动化数据处理的程序。主要用于对松散的海量信息进行收集和结构化处理,为数据分析和挖掘提供原材料。

今日t条就是一只巨大的“爬虫”。

爬虫由URL库、采集器、解析器组成。

流程

如果待爬取的url库不为空,采集器会自动爬取相关内容,并将结果给到解析器,解析器提取目标内容后进行写入文件或入库等操作。

一个入门级python爬虫教程详解

代码

第一步:写一个采集器

如下是一个比较简单的采集器函数。需要用到requests库。
首先,构造一个http的header,里面有浏览器和操作系统等信息。如果没有这个伪造的header,可能会被目标网站的WAF等防护设备识别为机器代码并干掉。

然后,用requests库的get方法获取url内容。如果http响应代码是200 ok,说明页面访问正常,将该函数返回值设置为文本形式的html代码内容。

如果响应代码不是200 ok,说明页面不能正常访问,将函数返回值设置为特殊字符串或代码。

import requests

def get_page(url):
	headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}
	response = requests.get(url, headers= headers)
	if response.status_code == 200:
	  return response.text
	else:
		return 'GET HTML ERROR !'

第二步:解析器

解析器的作用是对采集器返回的html代码进行过滤筛选,提取需要的内容。
作为一个14年忠实用户,当然要用豆瓣举个栗子 _

我们计划爬取豆瓣排名TOP250电影的8个参数:排名、电影url链接、电影名称、导演、上映年份、国家、影片类型、评分。整理成字典并写入文本文件。

待爬取的页面如下,每个页面包括25部电影,共计10个页面。

一个入门级python爬虫教程详解

在这里,必须要表扬豆瓣的前端工程师们,html标签排版非常工整具有层次,非常便于信息提取。

下面是“肖申克的救赎”所对应的html代码:(需要提取的8个参数用红线标注)

一个入门级python爬虫教程详解

根据上面的html编写解析器函数,提取8个字段。该函数返回值是一个可迭代的序列。
我个人喜欢用re(正则表达式)提取内容。8个(.*?)分别对应需要提取的字段。

import re

def parse_page(html):
	pattern = re.compile('<em class="">(.*?)</em>.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" >.*?<span class="title">(.*?)</span>.*?<div class="bd">.*?<p class="">(.*?) .*?<br>(.*?) / (.*?) / (.*?)</p>.*?<span class="rating_num".*?"v:average">(.*?)</span>' , re.S)
	items = re.findall(pattern , html)
	for item in items:
		yield {
		  'rank': item[0],
		  'href': item[1],
		  'name': item[2],
		  'director': item[3].strip()[4:],
		  'year': item[4].strip(),
		  'country': item[5].strip(),
		  'style': item[6].strip(),
		  'score': item[7].strip()
		}

提取后的内容如下:

一个入门级python爬虫教程详解

整理成完整的代码:(暂不考虑容错)

import requests
import re
import json

def get_page(url):
	#采集器函数
	headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36'}
	response = requests.get(url, headers= headers)
	if response.status_code == 200:
	  return response.text
	else:
		return 'GET HTML ERROR ! '


def parse_page(html):
	#解析器函数
	pattern = re.compile('<em class="">(.*?)</em>.*?<a href="(.*?)" rel="external nofollow" rel="external nofollow" >.*?<span class="title">(.*?)</span>.*?<div class="bd">.*?<p class="">(.*?) .*?<br>(.*?) / (.*?) / (.*?)</p>.*?<span class="rating_num".*?"v:average">(.*?)</span>' , re.S)
	items = re.findall(pattern , html)
	for item in items:
		yield {
		  'rank': item[0],
		  'href': item[1],
		  'name': item[2],
		  'director': item[3].strip()[4:],
		  'year': item[4].strip(),
		  'country': item[5].strip(),
		  'style': item[6].strip(),
		  'score': item[7].strip()
		}


def write_to_file(content):
	#写入文件函数
	with open('result.txt' , 'a' , encoding = 'utf-8') as file:
		file.write(json.dumps(content , ensure_ascii = False) + '\n')


if __name__== "__main__":
	# 主程序
	for i in range(10):
		url= 'https://movie.douban.com/top250?start='+ str(i*25)+ '&filter'
		for res in parse_page(get_page(url)):
			write_to_file(res)

非常简洁,非常符合python简单、高效的特点。

说明:

需要掌握待爬取url的规律,才能利用for循环等操作自动化处理。
前25部影片的url是https://movie.douban.com/top250?start=0&filter,第26-50部影片url是https://movie.douban.com/top250?start=25&filter。规律就在start参数,将start依次设置为0、25、50、75。。。225,就能获取所有页面的链接。parse_page函数的返回值是一个可迭代序列,可以理解为字典的集合。运行完成后,会在程序同目录生成result.txt文件。内容如下:

一个入门级python爬虫教程详解 

到此这篇关于一个入门级python爬虫教程详解的文章就介绍到这了,更多相关python爬虫入门教程内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
pycharm 使用心得(一)安装和首次使用
Jun 05 Python
零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
Nov 05 Python
Python之dict(或对象)与json之间的互相转化实例
Jun 05 Python
wxPython实现画图板
Aug 27 Python
python绘制彩虹图
Dec 16 Python
tensorflow使用指定gpu的方法
Feb 04 Python
Python爬虫爬取、解析数据操作示例
Mar 27 Python
使用python创建生成动态链接库dll的方法
May 09 Python
Python字符串的15个基本操作(小结)
Feb 03 Python
Python3爬虫ChromeDriver的安装实例
Feb 06 Python
python中subplot大小的设置步骤
Jun 28 Python
Python代码实现双链表
May 25 Python
python+selenium爬取微博热搜存入Mysql的实现方法
Jan 27 #Python
Python实现网络聊天室的示例代码(支持多人聊天与私聊)
Jan 27 #Python
基于Python的接口自动化unittest测试框架和ddt数据驱动详解
Jan 27 #Python
python实现scrapy爬虫每天定时抓取数据的示例代码
Jan 27 #Python
使用bandit对目标python代码进行安全函数扫描的案例分析
Jan 27 #Python
用Python实现定时备份Mongodb数据并上传到FTP服务器
Jan 27 #Python
python re.match()用法相关示例
Jan 27 #Python
You might like
10款PHP开源商城系统汇总介绍
2015/07/23 PHP
PHP+Mysql+jQuery实现发布微博程序 php篇
2015/10/15 PHP
详解PHP的Yii框架中自带的前端资源包的使用
2016/03/31 PHP
php使用curl并发减少后端访问时间的方法分析
2016/05/12 PHP
PHP获取当前时间不准确问题解决方案
2020/08/14 PHP
PHP反射基础知识回顾
2020/09/10 PHP
JavaScript 给汉字排序实例代码
2008/06/28 Javascript
IE8 原生JSON支持
2009/04/13 Javascript
jQuery实现单行文字间歇向上滚动源代码
2013/06/02 Javascript
Jquery 在页面加载后执行的几种方式
2014/03/14 Javascript
jquery实现简单的二级导航下拉菜单效果
2015/09/07 Javascript
webpack中引用jquery的简单实现
2016/06/08 Javascript
AngularJS实用开发技巧(推荐)
2016/07/13 Javascript
利用VUE框架,实现列表分页功能示例代码
2017/01/12 Javascript
[01:46]TI4西雅图DOTA2前线报道 中国选手抱团调时差
2014/07/08 DOTA
Python help()函数用法详解
2014/03/11 Python
Python文本相似性计算之编辑距离详解
2016/11/28 Python
Python入门_浅谈字符串的分片与索引、字符串的方法
2017/05/16 Python
PyChar学习教程之自定义文件与代码模板详解
2017/07/17 Python
Python简单实现查找一个字符串中最长不重复子串的方法
2018/03/26 Python
Python实现爬取马云的微博功能示例
2019/02/16 Python
浅析使用Python搭建http服务器
2019/10/27 Python
python程序需要编译吗
2020/06/19 Python
利用Python的folium包绘制城市道路图的实现示例
2020/08/24 Python
Python编写单元测试代码实例
2020/09/10 Python
ZWILLING双立人英国网上商店:德国刀具锅具厨具品牌
2018/05/15 全球购物
俄罗斯连接商品和买家的在线平台:goods.ru
2020/11/30 全球购物
解释一下抽象方法和抽象类
2016/08/27 面试题
会计专业应届生自荐信
2014/02/07 职场文书
反对邪教标语
2014/06/30 职场文书
护士节演讲稿开场白
2014/08/25 职场文书
中学生运动会通讯稿大全
2014/09/18 职场文书
2015社区爱国卫生工作总结
2015/04/21 职场文书
纪检干部学习心得体会
2016/01/23 职场文书
MySQL分区以及建索引的方法总结
2022/04/13 MySQL
Python中np.random.randint()参数详解及用法实例
2022/09/23 Python