python 爬取免费简历模板网站的示例


Posted in Python onSeptember 27, 2020

代码

# 免费的简历模板进行爬取本地保存 
# http://sc.chinaz.com/jianli/free.html
# http://sc.chinaz.com/jianli/free_2.html

import requests
from lxml import etree
import os

dirName = './resumeLibs'
if not os.path.exists(dirName):
  os.mkdir(dirName)

headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
}
url = 'http://sc.chinaz.com/jianli/free_%d.html'
for page in range(1,2):
  if page == 1:
    new_url = 'http://sc.chinaz.com/jianli/free.html'
  else:
    new_url = format(url%page)
  page_text = requests.get(url=new_url,headers=headers).text
  tree = etree.HTML(page_text)
  a_list = tree.xpath('//div[@id="container"]/div/p/a')
  
  for a in a_list:
    a_src = a.xpath('./@href')[0]
    a_title = a.xpath('./text()')[0]
    a_title = a_title.encode('iso-8859-1').decode('utf-8')
    # 爬取下载页面
    page_text = requests.get(url=a_src,headers=headers).text
    tree = etree.HTML(page_text)
    dl_src = tree.xpath('//div[@id="down"]/div[2]/ul/li[8]/a/@href')[0]
    
    resume_data = requests.get(url=dl_src,headers=headers).content
    resume_name = a_title
    resume_path = dirName + '/' + resume_name + '.rar'
    with open(resume_path,'wb') as fp:
      fp.write(resume_data)
      print(resume_name,'下载成功!')

爬取结果

python 爬取免费简历模板网站的示例

python 爬取免费简历模板网站的示例

以上就是python 爬取免费简历模板网站的示例的详细内容,更多关于python 爬取网站的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python函数可变参数定义及其参数传递方式实例详解
May 25 Python
Python发送http请求解析返回json的实例
Mar 26 Python
python traceback捕获并打印异常的方法
Aug 31 Python
将python文件打包成EXE应用程序的方法
May 22 Python
Python3 批量扫描端口的例子
Jul 25 Python
python函数的万能参数传参详解
Jul 26 Python
从训练好的tensorflow模型中打印训练变量实例
Jan 20 Python
Scrapy基于scrapy_redis实现分布式爬虫部署的示例
Sep 29 Python
python list等分并从等分的子集中随机选取一个数
Nov 16 Python
Pyside2中嵌入Matplotlib的绘图的实现
Feb 22 Python
Pycharm 如何设置HTML文件自动补全代码或标签
May 21 Python
Pytorch DataLoader shuffle验证方式
Jun 02 Python
python如何提升爬虫效率
Sep 27 #Python
python操作链表的示例代码
Sep 27 #Python
python用tkinter实现一个简易能进行随机点名的界面
Sep 27 #Python
python实现暗通道去雾算法的示例
Sep 27 #Python
谈谈python垃圾回收机制
Sep 27 #Python
如何在python中处理配置文件代码实例
Sep 27 #Python
Python 开发工具通过 agent 代理使用的方法
Sep 27 #Python
You might like
简单的页面缓冲技术
2006/10/09 PHP
require(),include(),require_once()和include_once()的异同
2007/01/02 PHP
PHP之预定义接口详解
2015/07/29 PHP
yii2中添加验证码的实现方法
2016/01/09 PHP
yii2.0整合阿里云oss的示例代码
2017/09/19 PHP
laravel按天、按小时,查询数据的实例
2019/10/09 PHP
关于javascript function对象那些迷惑分析
2011/10/24 Javascript
VUEJS实战之构建基础并渲染出列表(1)
2016/06/13 Javascript
Angularjs实现mvvm式的选项卡示例代码
2016/09/08 Javascript
微信小程序 解决swiper不显示图片的方法
2017/01/04 Javascript
Angularjs的$http异步删除数据详解及实例
2017/07/27 Javascript
详解JavaScript按概率随机生成事件
2017/08/02 Javascript
JavaScript创建对象的七种方式全面总结
2017/08/21 Javascript
three.js 入门案例详解
2018/01/23 Javascript
Vue.js 中的 v-show 指令及用法详解
2018/11/19 Javascript
详解vue中this.$emit()的返回值是什么
2019/04/07 Javascript
JS html事件冒泡和事件捕获操作示例
2019/05/01 Javascript
react的hooks的用法详解
2020/10/12 Javascript
python实现域名系统(DNS)正向查询的方法
2016/04/19 Python
Python 专题五 列表基础知识(二维list排序、获取下标和处理txt文本实例)
2017/03/20 Python
Python基于递归和非递归算法求两个数最大公约数、最小公倍数示例
2018/05/21 Python
python flask中动态URL规则详解
2019/11/22 Python
tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this T
2020/06/22 Python
HTML5 Geolocation API的正确使用方法
2018/12/04 HTML / CSS
澳大利亚在线百货商店:Real Smart
2017/08/13 全球购物
美国电子元器件分销商:Newark element14
2018/01/13 全球购物
应届生财务管理求职信
2013/11/06 职场文书
物业保安员岗位职责
2014/03/14 职场文书
司机岗位职责说明书
2014/07/29 职场文书
我心目中的好老师活动方案
2014/08/19 职场文书
2014年作风建设心得体会
2014/10/22 职场文书
单位租房协议书范本
2014/12/04 职场文书
先进个人评语大全
2015/01/04 职场文书
教师考核鉴定意见
2015/06/05 职场文书
四大名著读书笔记
2015/06/25 职场文书
小学思品教学反思
2016/02/20 职场文书