利用PHP制作简单的内容采集器的原理分析


Posted in PHP onOctober 01, 2008

前几天做了个小说连载的程序,因为怕更新麻烦,顺带就写了个采集器,采集八路中文网的,功能比较简单,不能自定义规则,不过大概思路都在里面了,自定义规则可以自己来扩展。

用php来做采集器主要用到两个函数:file_get_contents()和preg_match_all(),前一个是远程读取网页内容的,不过只在php5以上的版本才能用,后一个是正则函数,用来提取需要的内容的。

下面就一步一步来讲功能实现。

因为是采集小说,所以首先要将书名、作者、类型这三个提取出来,别的信息可根据需要提取。

这里以《回到明朝当王爷》为目标,先打开书目页,链接:http://www.86zw.com/Book/3727/Index.aspx

多打开几本书会发现,书名的基本格式是:http://www.86zw.com/Book/书号/Index.aspx,于是我们可以做一个开始页,定义一个<input type=text name=number>,用来输入需要采集的书号,以后就可以通过$_POST[‘number']这种格式来接收需要采集的书号了。接收到书号,下面要做的就是构造书目页:$url=http://www.86zw.com/Book/$_POST[‘number']/Index.aspx,当然这里是举个例子,主要是为了讲解方便,实际制作的时候最好检查一下$_POST[‘number']的合法性。

构造好URL以后就可以开始采集书籍信息了。使用file_get_contents() 函数打开书目页:$content=file_get_contents($url),这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例,其他的都一样。 打开书目页,查看源文件,找到“<span class="booktitle">《回到明朝当王爷》</span>”,这就是要提取出来的书名了。提取书名的正则表达式:/<span class=\"newstitle\">(.*?)\<\/span>/is,使用preg_match_all()函数将书名取出:preg_match_all("/<span class=\"newstitle\">(.*?)\<\/span>/is",$contents,$title);这样$title[0][0]的内容就是我们要的标题了(preg_match_all函数的用法可以去百度查,这里就不详细说明了)。取出了书籍信息,接下来就是取章节内容了,要取章节内容,首先要做的就是找到每一章的地址,然后远程打开章节,用正则将内容取出来,入库或者直接生成html静态文件。这个是章节列表的地址:http://www.86zw.com/Html/Book/18/3727/List.shtm,可以看出这个和书目页一样,是有规律可寻的:http://www.86zw.com/Html/Book/分类号/书号/List.shtm。书号前面已经取得,这里的关键是找到分类号,分类号可以在前面的书目页找到,提取分类号:

preg_match_all("/Html\/Book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is",$contents,$typeid);这样还不够,还需要一个切取函数:
PHP代码如下:

function cut($string,$start,$end){
$message = explode($start,$string);
$message = explode($end,$message[1]); return $message[0];}其中$string为要被切取的内容,$start为开始的地方,$end为结束的地方。取出分类号:

$start = "Html/Book/";
$end
= "List.shtm";
$typeid = cut($typeid[0][0],$start,$end);
$typeid = explode("/",$typeid);[/php]

这样,$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了:$chapterurl = http://www.86zw.com/Html/Book/.$typeid[0]/$_POST[‘number']/List.shtm。有了这个就能找到每一章节的地址了。方法如下:

$ustart = "\"";
$uend
= "\"";
//t表示title的缩写
$tstart = ">";
$tend
= "<";
//取路径,例如:123.shtm,2342.shtm,233.shtm
preg_match_all("/\"[0-9]{1,}\.(shtm)\"/is",$chapterurl,$url);
//取标题,例如:第一章 九世善人
preg_match_all("/<a href=\"[0-9]{1,}\.shtm\"(.*?)\<\/a>/is",$file,$title);
$count = count($url[0]);
for($i=0;$i<=$count;$i++)
{
$u = cut($url[0][$i],$ustart,$uend);
$t = cut($title[0][$i],$tstart,$tend);
$array[$u] = $t;
}

$array数组就是所有的章节地址了,到这里,采集器就完成一半了,剩下的就是循环打开每个章节地址,读取,然后将内容匹配出来。这个比较简单,这里就不详细叙述了。好了,今天就先写到这吧,第一次写这么长的文章,语言组织方面难免有问题,还请大家多包涵!

PHP 相关文章推荐
JS实现php的伪分页
May 25 PHP
php 远程图片保存到本地的函数类
Dec 08 PHP
php INI配置文件的解析实现分析
Jan 04 PHP
PHP对象转换为数组函数(递归方法)
Feb 04 PHP
IIS+fastcgi下PHP运行超时问题的解决办法详解
Jun 20 PHP
php通过ksort()函数给关联数组按照键排序的方法
Mar 18 PHP
PHP浮点数精度问题汇总
May 13 PHP
PHP的命令行命令使用指南
Aug 18 PHP
PHP CURL或file_get_contents获取网页标题的代码及两者效率的稳定性问题
Nov 30 PHP
yii2控制器Controller Ajax操作示例
Jul 23 PHP
如何用PHP做到页面注册审核
Mar 02 PHP
PHP的Trait机制原理与用法分析
Oct 18 PHP
php数组总结篇(一)
Sep 30 #PHP
PHP EOT定界符的使用详解
Sep 30 #PHP
40个迹象表明你还是PHP菜鸟
Sep 29 #PHP
PHP网站基础优化方法小结
Sep 29 #PHP
10条PHP编程习惯助你找工作
Sep 29 #PHP
PHP生成带有雪花背景的验证码
Sep 28 #PHP
PHP编实现程动态图像的创建代码
Sep 28 #PHP
You might like
php基于curl扩展制作跨平台的restfule 接口
2015/05/11 PHP
yii2利用自带UploadedFile实现上传图片的示例
2017/02/16 PHP
Laravel 5.4.36中session没有保存成功问题的解决
2018/02/19 PHP
在线编辑器的实现原理(兼容IE和FireFox)
2007/03/09 Javascript
js wmp操作代码小结(音乐连播功能)
2008/11/08 Javascript
基于Jquery的淡入淡出的特效基础练习
2010/12/13 Javascript
javascript自适应宽度的瀑布流实现思路
2013/02/20 Javascript
JS实现让网页背景图片斜向移动的方法
2015/02/25 Javascript
3种js实现string的substring方法
2015/11/09 Javascript
谈谈AngularJs中的隐藏和显示
2015/12/09 Javascript
JQuery控制DIV的选取实现方法
2016/09/18 Javascript
详解jQuery lazyload 懒加载
2016/12/19 Javascript
详解nodeJS之二进制buffer对象
2017/06/03 NodeJs
javaScript实现复选框全选反选事件详解
2020/11/20 Javascript
vue左右侧联动滚动的实现代码
2018/06/06 Javascript
js实现鼠标拖拽缩放div实例代码
2019/03/25 Javascript
在Python中用keys()方法返回字典键的教程
2015/05/21 Python
python3音乐播放器简单实现代码
2020/04/20 Python
Python文件的读写和异常代码示例
2017/10/31 Python
python中os和sys模块的区别与常用方法总结
2017/11/14 Python
异步任务队列Celery在Django中的使用方法
2018/06/07 Python
使用 Python 玩转 GitHub 的贡献板(推荐)
2019/04/04 Python
python判断所输入的任意一个正整数是否为素数的两种方法
2019/06/27 Python
在python中将list分段并保存为array类型的方法
2019/07/15 Python
Python 项目转化为so文件实例
2019/12/23 Python
基于OpenCV的网络实时视频流传输的实现
2020/11/15 Python
定义一结构体变量,用其表示点坐标,并输入两点坐标,求两点之间的距离
2015/08/17 面试题
维护民族团结演讲稿
2014/08/27 职场文书
企业法人代表授权委托书
2014/10/02 职场文书
预备党员自我评价范文
2015/03/04 职场文书
前台接待岗位职责范本
2015/04/03 职场文书
圆明园纪录片观后感
2015/06/03 职场文书
幼儿园班级管理心得体会
2016/01/07 职场文书
应届毕业生的自我评价
2019/06/21 职场文书
如何计划开一家便利店?
2019/07/31 职场文书
Redis高可用集群redis-cluster详解
2022/03/20 Redis