PHP抓取网页、解析HTML常用的方法总结


Posted in PHP onJuly 01, 2015

概述

爬虫是我们在做程序时经常会遇到的一种功能。PHP有许多开源的爬虫工具,如snoopy,这些开源的爬虫工具,通常能帮我们完成大部分功能,但是在某种情况下,我们需要自己实现一个爬虫,本篇文章对PHP实现爬虫的方式做个总结。

PHP实现爬虫主要方法

1.file()函数
2.file_get_contents()函数
3.fopen()->fread()->fclose()方式
4.curl方式
5.fsockopen()函数,socket方式
6.使用开源工具,如:snoopy

PHP解析XML或HTML主要方式

1.正则表达式
2.PHP DOMDocument对象
3.插件,如:PHP Simple HTML DOM Parser

总结

这里对PHP实现爬虫的方式做个简单得总结,本篇设计到得内容还有很多,稍后会对PHP解析HTML和XML的方式做个总结。

PHP 相关文章推荐
我常用的几个类
Oct 09 PHP
php 接口类与抽象类的实际作用
Nov 26 PHP
php批量上传的实现代码
Jun 09 PHP
如何让CI框架支持service层
Oct 29 PHP
php禁止浏览器使用缓存页面的方法
Nov 07 PHP
PHP中使用Imagick实现各种图片效果实例
Jan 21 PHP
php中stdClass的用法分析
Feb 27 PHP
PHP简单预防sql注入的方法
Sep 27 PHP
CI框架中类的自动加载问题分析
Nov 21 PHP
PHP常用算法和数据结构示例(必看篇)
Mar 15 PHP
浅谈PHP中pack、unpack的详细用法
Mar 12 PHP
PHP设计模式(五)适配器模式Adapter实例详解【结构型】
May 02 PHP
PHP中static关键字以及与self关键字的区别
Jul 01 #PHP
PHP单例模式详细介绍
Jul 01 #PHP
curl和libcurl的区别简介
Jul 01 #PHP
PHP+Ajax实时自动检测是否联网的方法
Jul 01 #PHP
PHP超全局数组(Superglobals)介绍
Jul 01 #PHP
PHP中的类型提示(type hinting)功能介绍
Jul 01 #PHP
7个鲜为人知却非常实用的PHP函数
Jul 01 #PHP
You might like
PHP入门速成(2)
2006/10/09 PHP
第四章 php数学运算
2011/12/30 PHP
基于php的微信公众平台开发入门实例
2015/04/15 PHP
YII2框架中excel表格导出的方法详解
2017/07/21 PHP
PHP微信发送推送消息乱码的解决方法
2019/02/28 PHP
php xhprof使用实例详解
2019/04/15 PHP
php多进程并发编程防止出现僵尸进程的方法分析
2020/02/28 PHP
js获取提交的字符串的字节数
2009/02/09 Javascript
javascript调试说明
2010/06/07 Javascript
javascript实现div浮动在网页最顶上并带关闭按钮效果实例
2013/08/13 Javascript
JavaScript包装对象使用介绍
2013/08/29 Javascript
Node.js(安装,启动,测试)
2014/06/09 Javascript
点击button获取text内容并改变样式的js实现
2014/09/09 Javascript
js实现手机拍照上传功能
2017/01/17 Javascript
JS中的BOM应用
2018/02/02 Javascript
js动态引入的四种方法
2018/05/05 Javascript
vue中el-upload上传图片到七牛的示例代码
2018/10/19 Javascript
JS散列表碰撞处理、开链法、HashTable散列示例
2019/02/08 Javascript
Vue数据双向绑定原理实例解析
2020/05/15 Javascript
全局安装 Vue cli3 和 继续使用 Vue-cli2.x操作
2020/09/08 Javascript
[01:14:19]NAVI vs Mineski 2019国际邀请赛淘汰赛 败者组BO1 8.20.mp4
2020/07/19 DOTA
Python3中的列表生成式、生成器与迭代器实例详解
2018/06/11 Python
PyCharm安装Markdown插件的两种方法
2019/06/24 Python
详解python中的三种命令行模块(sys.argv,argparse,click)
2020/12/15 Python
Mytheresa英国官网:拥有160多个奢侈品品牌
2016/10/09 全球购物
西班牙家用电器和电子产品购物网站:Mi Electro
2019/02/25 全球购物
飞利浦西班牙官方网站:Philips西班牙
2020/02/17 全球购物
美国在线购买内衣网站:HerRoom
2020/02/22 全球购物
保安自我鉴定范文
2013/12/08 职场文书
大一军训感言
2014/01/09 职场文书
感恩节红领巾广播稿
2014/02/11 职场文书
向国旗敬礼活动小结
2014/09/27 职场文书
幼儿园教师安全责任书
2015/05/08 职场文书
世界名著读书笔记
2015/06/25 职场文书
利用Python判断整数是否是回文数的3种方法总结
2021/07/07 Python
python中数组和列表的简单实例
2022/03/25 Python