python爬虫爬取网页表格数据


Posted in Python onMarch 07, 2018

用python爬取网页表格数据,供大家参考,具体内容如下

from bs4 import BeautifulSoup 
import requests 
import csv 
import bs4 
 
 
#检查url地址 
def check_link(url): 
 try: 
   
  r = requests.get(url) 
  r.raise_for_status() 
  r.encoding = r.apparent_encoding 
  return r.text 
 except: 
  print('无法链接服务器!!!') 
 
 
#爬取资源 
def get_contents(ulist,rurl): 
 soup = BeautifulSoup(rurl,'lxml') 
 trs = soup.find_all('tr') 
 for tr in trs: 
  ui = [] 
  for td in tr: 
   ui.append(td.string) 
  ulist.append(ui) 
  
#保存资源 
def save_contents(urlist): 
 with open("D:/2016年中国企业500强排行榜.csv",'w') as f: 
  writer = csv.writer(f) 
  writer.writerow(['2016年中国企业500强排行榜']) 
  for i in range(len(urlist)): 
   writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) 
def main(): 
 urli = [] 
 url = "http://www.maigoo.com/news/463071.html" 
 rs = check_link(url) 
 get_contents(urli,rs) 
 save_contents(urli) 
 
main()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python检测手机QQ在线状态的脚本代码
Feb 10 Python
列举Python中吸引人的一些特性
Apr 09 Python
Python操作Sql Server 2008数据库的方法详解
May 17 Python
python执行scp命令拷贝文件及文件夹到远程主机的目录方法
Jul 08 Python
django rest framework vue 实现用户登录详解
Jul 29 Python
基于python3的socket聊天编程
Feb 17 Python
基于python图像处理API的使用示例
Apr 03 Python
解决jupyter notebook 前面书写后面内容消失的问题
Apr 13 Python
Django实现文章详情页面跳转代码实例
Sep 16 Python
Python接口自动化系列之unittest结合ddt的使用教程详解
Feb 23 Python
Python 快速验证代理IP是否有效的方法实现
Jul 15 Python
Python 中的 copy()和deepcopy()
Nov 07 Python
python使用mysql的两种使用方式
Mar 07 #Python
python表格存取的方法
Mar 07 #Python
Django中Model的使用方法教程
Mar 07 #Python
python使用opencv按一定间隔截取视频帧
Mar 06 #Python
python+ffmpeg视频并发直播压力测试
Mar 06 #Python
小白如何入门Python? 制作一个网站为例
Mar 06 #Python
python调用系统ffmpeg实现视频截图、http发送
Mar 06 #Python
You might like
php带密码功能并下载远程文件保存本地指定目录 修改加强版
2010/05/16 PHP
php下保存远程图片到本地的办法
2010/08/08 PHP
PHP中文件上传的一个问题
2010/09/04 PHP
php学习笔记 php中面向对象三大特性之一[封装性]的应用
2011/06/13 PHP
关于shopex同步ucenter的redirect问题,导致script不运行
2013/04/10 PHP
php实现Linux服务器木马排查及加固功能
2014/12/29 PHP
PHP输出缓冲控制Output Control系列函数详解
2015/07/02 PHP
javascript下过滤数组重复值的代码
2007/09/10 Javascript
javascript 多浏览器 事件大全
2010/03/23 Javascript
css配合jquery美化 select
2013/11/29 Javascript
jQuery 无限级菜单的简单实例
2014/02/21 Javascript
js实现微信分享代码
2020/10/11 Javascript
JS代码防止SQL注入的方法(超简单)
2016/04/12 Javascript
一次$.getJSON不执行的简单记录
2016/07/19 Javascript
JS常用倒计时代码实例总结
2017/02/07 Javascript
使用vue.js实现checkbox的全选和多个的删除功能
2017/02/17 Javascript
用nodeJS搭建本地文件服务器的几种方法小结
2017/03/16 NodeJs
vue使用iframe嵌入网页的示例代码
2020/06/09 Javascript
解决Vue中 父子传值 数据丢失问题
2019/08/27 Javascript
Python实现截屏的函数
2015/07/26 Python
Python3实现发送QQ邮件功能(html)
2017/12/15 Python
解决Python print 输出文本显示 gbk 编码错误问题
2018/07/13 Python
Python统计python文件中代码,注释及空白对应的行数示例【测试可用】
2018/07/25 Python
对python 调用类属性的方法详解
2019/07/02 Python
python通过函数名调用函数的几种场景
2020/09/23 Python
韩国CJ食品专卖网:CJonmart
2016/09/11 全球购物
法国隐形眼镜网站:VisionDirect.fr
2020/03/03 全球购物
进修护士自我鉴定
2013/10/14 职场文书
暑期社会实践先进个人主要事迹
2014/05/22 职场文书
图书室标语
2014/06/21 职场文书
创先争优活动心得体会
2014/09/04 职场文书
设备收款委托书范本
2014/10/02 职场文书
教师作风整顿个人剖析材料
2014/10/10 职场文书
运动会表扬稿
2015/01/16 职场文书
民主评议党员个人自我评价
2015/03/03 职场文书
2015年小学英语教师工作总结
2015/05/12 职场文书