PHP 采集获取指定网址的内容


Posted in PHP onJanuary 05, 2010

参考别人想法变成自己的想法,你会发现慢慢下来以后你就拥有了临时解决很多问题的思路与方法。

<?php 
/* 
功能:获取页面内容,存储下来阅读; lost63 
*/ 
Class GetUrl{ 
var $url; //地址 
var $result; //结果 
var $content; //内容 
var $list; //列表 
function GetUrl($url){ 
$this->url=$url; 
$this->GetContent(); 
$this->GetList(); 
$this->FileSave(); 
//print_r($this->list[2]); 
} 
private function GetContent(){ 
$this->result=fopen($this->url,"r"); 
while(!feof($this->result)){ 
$this->content.=fgets($this->result,9999); 
} 
} 
private function GetList(){ 
preg_match_all('/<a(.*?)href="(.*?)">(.*?)<\/a>/',$this->content,$this->list); 
$this->list[2]=array_unique($this->list[2]); //移除相同的值 
while(list($key,$value)=each($this->list[2])){ 
if(strpos($value,".html")==0||strpos($value,"jiaocheng")==0){ 
unset($this->list[2][$key]); 
}else{ 
$this->list[2][$key]=substr($value,0,strpos($value,".html")).".html"; //去掉不需要的标签 
} 
} 
} 
private function FileSave(){ 
foreach($this->list[2] as $value){ 
$this->url=$value; //重新赋值 
$this->content=null; 
$this->GetContent(); //提取内容 
preg_match_all('/<title>(.*?)<\/title>/',$this->content,$files); //取标题 
$filename=$files[1][0].".html"; //存储名 
$content=$this->str_cut($this->content,'http://pagead2.googlesyndication.com/pagead/show_ads.js','<div id="article_detail">'); 
$file=fopen($filename,"w"); 
fwrite($file,$content); 
fclose($file); 
echo $filename."保存 OK<br>\n"; 
} 
} 
function str_cut($str ,$start, $end) { 
$content = strstr( $str, $start ); 
$content = substr( $content, strlen( $start ), strpos( $content, $end ) - strlen( $start ) ); 
return $content; 
} 
} 
$w=new GetUrl("http://www.ijavascript.cn/jiaocheng/javascript-jiaocheng-352.html"); 
?>
PHP 相关文章推荐
攻克CakePHP系列三 表单数据增删改
Oct 22 PHP
完美解决PHP中文乱码
Nov 26 PHP
php url地址栏传中文乱码解决方法集合
Jun 25 PHP
如何批量替换相对地址为绝对地址(利用bat批处理实现)
May 27 PHP
解析linux下安装memcacheq(mcq)全过程笔记
Jun 27 PHP
PHP扩展模块Pecl、Pear以及Perl的区别
Apr 09 PHP
php表单请求获得数据求和示例
May 15 PHP
ThinkPHP应用模式扩展详解
Jul 16 PHP
PHP中返回引用类型的方法
Apr 03 PHP
php基于curl重写file_get_contents函数实例
Nov 08 PHP
php 魔术常量详解及实例代码
Dec 04 PHP
PHP常用算法和数据结构示例(必看篇)
Mar 15 PHP
php 无极分类(递归)实现代码
Jan 05 #PHP
php 文件上传代码(限制jpg文件)
Jan 05 #PHP
php下将XML转换为数组
Jan 01 #PHP
PHP 巧用数组降低程序的时间复杂度
Jan 01 #PHP
使用PHP获取网络文件的实现代码
Jan 01 #PHP
php中计算时间差的几种方法
Dec 31 #PHP
php 操作excel文件的方法小结
Dec 31 #PHP
You might like
2020最新CPU的性能排名
2020/04/02 数码科技
PHP操作mysql函数详解,mysql和php交互函数
2011/05/19 PHP
PHP实现CSV文件的导入和导出类
2015/03/24 PHP
Yii CGridView用法实例详解
2016/07/12 PHP
php获取ip及网址的简单方法(必看)
2017/04/01 PHP
tp5(thinkPHP5)操作mongoDB数据库的方法
2018/01/20 PHP
thinkPHP事务操作简单案例分析
2019/10/17 PHP
基于JQuery实现异步刷新的代码(转载)
2011/03/29 Javascript
分享网页检测摇一摇实例代码
2016/01/14 Javascript
深入理解javascript作用域第二篇之词法作用域和动态作用域
2016/07/24 Javascript
基于JS+Canves实现点击按钮水波纹效果
2016/09/15 Javascript
用p5.js制作烟花特效的示例代码
2018/03/21 Javascript
常用的 JS 排序算法 整理版
2018/04/05 Javascript
jQuery实现的淡入淡出与滑入滑出效果示例
2018/04/18 jQuery
详解Eslint 配置及规则说明
2018/09/10 Javascript
js 计算图片内点个数的示例代码
2019/04/04 Javascript
React中使用UMEditor的方法示例
2019/12/27 Javascript
通过实例解析jQ Ajax操作相关原理
2020/09/23 Javascript
在服务器端实现无间断部署Python应用的教程
2015/04/16 Python
基于python实现微信模板消息
2015/12/21 Python
Python基础之getpass模块详细介绍
2017/08/10 Python
python实现图像识别功能
2018/01/29 Python
Python数据分析之双色球统计单个红和蓝球哪个比例高的方法
2018/02/03 Python
python爬虫获取百度首页内容教学
2018/12/23 Python
python numpy数组中的复制知识解析
2020/02/03 Python
filter使用python3代码进行迭代元素的实例详解
2020/12/03 Python
英国汽车座椅和婴儿车购物网站:Uber Kids
2017/04/19 全球购物
阿根廷首家户外用品制造商和经销商:Montagne
2018/02/12 全球购物
求高于平均分的学生学号及成绩
2016/09/01 面试题
写clone()方法时,通常都有一行代码,是什么?
2012/10/31 面试题
超市中秋节活动方案
2014/02/12 职场文书
离婚协议书的书写要求
2014/09/17 职场文书
群众路线个人整改方案
2014/10/25 职场文书
张丽莉观后感
2015/06/16 职场文书
2016关于军训的心得体会
2016/01/11 职场文书
小喇叭开始广播了! 四十多年前珍贵老照片
2022/05/09 无线电