选择Python写网络爬虫的优势和理由


Posted in Python onJuly 07, 2019

什么是网络爬虫?

网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件

爬虫有什么用?

  • 做为通用搜索引擎网页收集器。(google,baidu)
  • 做垂直搜索引擎.
  • 科学研究:在线人类行为,在线社群演化,人类动力学研究,计量社会学,复杂网络,数据挖掘,等领域的实证研究都需要大量数据,网络爬虫是收集相关数据的利器。
  • 偷窥,hacking,发垃圾邮件……

爬虫是搜索引擎的第一步也是最容易的一步

选择Python写网络爬虫的优势和理由

• 网页搜集

• 建立索引

• 查询排序

用什么语言写爬虫?

C,C++。高效率,快速,适合通用搜索引擎做全网爬取。缺点,开发慢,写起来又臭又长,例如:天网搜索源代码。
脚本语言:Perl, Python, Java, Ruby。简单,易学,良好的文本处理能方便网页内容的细致提取,但效率往往不高,适合对少量网站的聚焦爬取

C#?(貌似信息管理的人比较喜欢的语言)

为什么最终选择Python?

  • 跨平台,对Linux和windows都有不错的支持。
  • 科学计算,数值拟合:Numpy,Scipy
  • 可视化:2d:Matplotlib(做图很漂亮), 3d: Mayavi2
  • 复杂网络:Networkx
  • 统计:与R语言接口:Rpy
  • 交互式终端
  • 网站的快速开发?

一个简单的Python爬虫

import urllib
import urllib.request

def loadPage(url,filename):
 """
 作用:根据url发送请求,获取html数据;
 :param url:
 :return:
 """
 request=urllib.request.Request(url)
 html1= urllib.request.urlopen(request).read()
 return html1.decode('utf-8')

def writePage(html,filename):
 """
 作用将html写入本地

 :param html: 服务器相应的文件内容
 :return:
 """
 with open(filename,'w') as f:
  f.write(html)
 print('-'*30)
def tiebaSpider(url,beginPage,endPage):
 """
 作用贴吧爬虫调度器,负责处理每一个页面url;
 :param url:
 :param beginPage:
 :param endPage:
 :return:
 """
 for page in range(beginPage,endPage+1):
  pn=(page - 1)*50
  fullurl=url+"&pn="+str(pn)
  print(fullurl)
  filename='第'+str(page)+'页.html'
  html= loadPage(url,filename)

  writePage(html,filename)



if __name__=="__main__":
 kw=input('请输入你要需要爬取的贴吧名:')
 beginPage=int(input('请输入起始页'))
 endPage=int(input('请输入结束页'))
 url='https://tieba.baidu.com/f?'
 kw1={'kw':kw}
 key = urllib.parse.urlencode(kw1)
 fullurl=url+key
 tiebaSpider(fullurl,beginPage,endPage)

以上就是关于为什么Python写网络爬虫的全部理由和知识点,感谢大家的阅读和对三水点靠木的支持。

Python 相关文章推荐
python基础教程之获取本机ip数据包示例
Feb 10 Python
线程和进程的区别及Python代码实例
Feb 04 Python
python中函数总结之装饰器闭包详解
Jun 12 Python
Python 中pandas.read_excel详细介绍
Jun 23 Python
Django原生sql也能使用Paginator分页的示例代码
Nov 15 Python
Python脚本完成post接口测试的实例
Dec 17 Python
对Python的多进程锁的使用方法详解
Feb 18 Python
Django中ORM外键和表的关系详解
May 20 Python
Python OpenCV实现视频分帧
Jun 01 Python
Selenium+Python 自动化操控登录界面实例(有简单验证码图片校验)
Jun 28 Python
Python flask路由间传递变量实例详解
Jun 03 Python
Python requests HTTP验证登录实现流程
Nov 05 Python
python和c语言的主要区别总结
Jul 07 #Python
详解将Pandas中的DataFrame类型转换成Numpy中array类型的三种方法
Jul 06 #Python
pandas进行时间数据的转换和计算时间差并提取年月日
Jul 06 #Python
python中时间、日期、时间戳的转换的实现方法
Jul 06 #Python
pandas 时间格式转换的实现
Jul 06 #Python
pandas中的series数据类型详解
Jul 06 #Python
pandas.DataFrame的pivot()和unstack()实现行转列
Jul 06 #Python
You might like
使用MaxMind 根据IP地址对访问者定位
2006/10/09 PHP
PHP 面向对象实现代码
2009/11/11 PHP
php加水印的代码(支持半透明透明打水印,支持png透明背景)
2013/01/17 PHP
smarty模板引擎从配置文件中获取数据的方法
2015/01/22 PHP
PHP在同一域名下两个不同的项目做独立登录机制详解
2017/09/22 PHP
TNC vs BOOM BO3 第二场2.13
2021/03/10 DOTA
javascript 密码强弱度检测万能插件
2009/02/25 Javascript
jQuery对表单元素的取值和赋值操作代码
2011/05/19 Javascript
重构Javascript代码示例(重构前后对比)
2013/01/23 Javascript
原生javascript图片自动或手动切换示例附演示源码
2013/09/04 Javascript
根据配置文件加载js依赖模块
2014/12/29 Javascript
jQuery使用之标记元素属性用法实例
2015/01/19 Javascript
JS仿hao123导航页面图片轮播效果
2016/09/01 Javascript
AngularJS模仿Form表单提交的实现代码
2016/12/08 Javascript
浅析Vue 和微信小程序的区别、比较
2018/08/03 Javascript
小程序兼容安卓和IOS数据处理问题及坑
2018/09/18 Javascript
jQuery-ui插件sortable实现自由拖动排序
2018/12/01 jQuery
JS变量提升及函数提升实例解析
2020/09/03 Javascript
js实现购物车商品数量加减
2020/09/21 Javascript
js重写alert事件(避免alert弹框标题出现网址)
2020/12/04 Javascript
[48:29]2018DOTA2亚洲邀请赛3月30日 小组赛A组 LGD VS KG
2018/03/31 DOTA
[12:21]VICI vs TNC (BO3)
2018/06/07 DOTA
django实现用户登陆功能详解
2017/12/11 Python
python深度优先搜索和广度优先搜索
2018/02/07 Python
如何给Python代码进行加密
2020/01/10 Python
澳大利亚领先的在线机械五金、园艺和存储专家:Edisons
2018/03/24 全球购物
介绍下Java中==和equals的区别
2013/09/01 面试题
应聘医学检验人员自荐信
2013/09/27 职场文书
资产经营总监岗位职责范文
2013/12/01 职场文书
党委干部批评与自我批评发言稿
2014/09/28 职场文书
无工作证明怎么写
2015/06/15 职场文书
《和时间赛跑》读后感3篇
2019/12/16 职场文书
python爬虫之爬取笔趣阁小说
2021/04/22 Python
vue打包时去掉所有的console.log
2022/04/10 Vue.js
Java 使用类型为Object的变量指向任意类型的对象
2022/04/13 Java/Android
html网页引入svg图片的4种方式
2022/08/05 HTML / CSS