PHP批量采集下载美女图片的实现代码


Posted in PHP onJune 03, 2013

设计思路

考虑到单纯的采集一个网页的图片,太麻烦,所以直接采集他的列表页,获取列表的url然后在一一采集,但是用php匹配列表页的url太麻烦,第一列表页有很多无效url这对我这个正则小菜鸟实在是个问题,看了一下列表页的结构,果断采用jquery获取url,jquery的万能选择器又再次强大起来了。

jquery获取url,然后ajax传递url—>对应PHP文件,遍历url参数—->单页面采集保存图片

jquery程序

<script src="http://www.cztv.com/uibase/jquery.js"></script> 
<script > 
$(document).ready(function(){ 
var hrefs =''; 
$('.f_folder>a').each(function(i){ 
var href = $('.f_folder:eq('+i+')>a:eq(0)').attr('href'); 
if(href!='undefined'){ 
hrefs +=href+','; 
} 
}) 
$.getJSON("http://www.****.com/365/getimg.php?hrefs="+hrefs+"&callback=?", function(data){ 
//alert(data.info); 
}); 
}); 
</script>

这里把url拼接成‘,'分割的字符串传递url,使用getjson是为了跨域需要,关于getjson常见的几个问题可以参看<$.getjson遇到的几个问题>

PHP采集程序

<?php 
// 抓起365图片 
error_reporting(E_ALL ^ E_NOTICE); 
set_time_limit(0);//设置PHP超时时间 
/** 
* 得到当前时间 
*/ 
function getMicrotime() { list ($usec, $sec) = explode(" ", microtime()); 
return ((float) $usec + (float) $sec); 
} 
$stime = getMicrotime(); 
$callback = $_GET['callback']; 
$hrefs = $_GET['hrefs']; 
$urlarray = explode(',',$hrefs); 
//获取指定url的所有图片 
function getimgs($url){ 
$dirname = basename($url,".php"); 
if(!file_exists($dirname)){ 
mkdir('365/'.$dirname.''); 
} 
clearstatcache(); 
$data = file_get_contents($url); 
preg_match_all("/(href|src)=(["|']?)([^ "'>]+.(jpg|png|PNG|JPG|gif))\2/i", $data, $matches); 
//$matches[3] = array_unique($matches[3]); 
unset($data); 
$i=0; 
if(count($matches[3])>0){ 
foreach($matches[3] as $k=>$v){ 
//简单判断是否是标准url,而不是相对路径 
if(substr($v,0,4)=='http'){ 
$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展 
if(!file_exists('365/'.$dirname.'/'.$k.'.'.$ext)){ 
file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v)); 
$i++; 
}else{ 
unset($v); 
} 
clearstatcache(); 
}else{ 
unset($v); 
} 
} 
unset($matches); 
return $i; 
} 
} 
foreach($urlarray as $k=>$v){ 
if($v!=''){ 
$j +=getimgs($v); 
} 
} 
$etime = getMicrotime(); 
echo "合计采集了".$j."张图片"; 
echo "用时".($etime-$stime)."秒";

考虑到性能问题:在getimgs方法中所用的变量都是使用后便注销(unset)了,以便释放内存。

设计到的几个知识点

判断是否是标准有效图片url
if(substr($v,0,4)=='http')这个只是简单的判断一下匹配到的图片url是否是标准的url,因为采集的图片可能是相对路径的,这里我直接放弃这种图片的采集,当然你也可以把这种图片还原成标准图片路径,还有一个问题就是即使是标准url格式,这样的图片也未必可以采集,因为你不知道这个图片是否还有,也许这个图片url已经无效了,如果你想更严格的判断这个图片url是否真实有效可以推荐看我之前的《PHP判断远程url是否有效的几种方法》有三种方法可以验证是否是有效url。

获取图片格式

$ext = pathinfo($v,PATHINFO_EXTENSION);//图片扩展

这里使用了pathinfo的方法,总结有7种方法可以获取到文件的格式,推荐文章:《PHP判断图片格式的七种方法》

下载保存到本地

file_put_contents('365/'.$dirname.'/'.$k.'.'.$ext,file_get_contents($v));
file_put_contents() 函数把一个字符串写入文件中。
与依次调用 fopen(),fwrite() 以及 fclose() 功能一样。
file_get_contents() 函数把整个文件读入一个字符串中。

因为服务器支持file_get_contents,如果服务器把这个函数禁用了,可以使用curl,这个工具要比file_get_contents更加强大,推荐学习《CURL的学习和应用(附多线程)》,可以使用curl的多线程下载存储,效果更牛逼

清除文件操作缓存

clearstatcache() 函数清除文件状态缓存。clearstatcache() 函数会缓存某些函数的返回信息,以便提供更高的性能。但是有时候,比如在一个脚本中多次检查同一个文件,而该文件在此脚本执行期间有被删除或修改的危险时,你需要清除文件状态缓存,以便获得正确的结果。要做到这一点,就需要使用 clearstatcache() 函数。官方手册:

程序执行时间计算

/** * 得到当前时间 
*/ 
function getMicrotime() { 
list ($usec, $sec) = explode(" ", microtime()); 
return ((float) $usec + (float) $sec); 
}

可以参考本博客文章;《获取php页面执行时间,数据库读写次数,函数调用次数等【THINKPHP】》

最后看一下效果;

PHP批量采集下载美女图片的实现代码

409秒采集了214张图片,大概2秒下载保存了一张图片,图片总大小约62M,这样看来:

一个小时60*60可以大约下载1800张美女图片。

PHP 相关文章推荐
JS实现php的伪分页
May 25 PHP
PHP has encountered an Access Violation 错误的解决方法
Jan 17 PHP
php max_execution_time执行时间问题
Jul 17 PHP
使用php实现快钱支付功能(涉及到接口)
Jul 01 PHP
php中的PHP_EOL换行符详细解析
Oct 26 PHP
php简单操作mysql数据库的类
Apr 16 PHP
Yii开启片段缓存的方法
Mar 28 PHP
laravel项目利用twemproxy部署redis集群的完整步骤
May 11 PHP
使用PHPExcel导出Excel表
Sep 08 PHP
PHP实现简易计算器功能
Aug 28 PHP
php正则表达式使用方法整理集合
Jan 31 PHP
phpStorm2020 注册码
Sep 17 PHP
基于PHP CURL获取邮箱地址的详解
Jun 03 #PHP
解析CI即CodeIgniter框架在Nginx下的重写规则
Jun 03 #PHP
深入php函数file_get_contents超时处理的方法详解
Jun 03 #PHP
详解PHP内置访问资源的超时时间 time_out file_get_contents read_file
Jun 03 #PHP
PHP CLI模式下的多进程应用分析
Jun 03 #PHP
基于php-fpm 参数的深入理解
Jun 03 #PHP
php-cli简介(不会Shell语言一样用Shell)
Jun 03 #PHP
You might like
PHP动态创建Web站点的方法
2011/08/14 PHP
利用PHP生成静态HTML文档的原理
2012/10/29 PHP
ThinkPHP登录功能的实现方法
2014/08/20 PHP
php格式输出文件var_export函数实例
2014/11/15 PHP
PHP统一页面编码避免乱码问题
2015/04/09 PHP
在textarea文本域中显示HTML代码的方法
2007/03/06 Javascript
javascript中input中readonly和disabled区别介绍
2012/10/23 Javascript
js如何取消事件冒泡
2013/09/23 Javascript
js中的replace方法使用介绍
2013/10/28 Javascript
node.js中的http.response.setHeader方法使用说明
2014/12/14 Javascript
jQuery中:disabled选择器用法实例
2015/01/04 Javascript
Vue方法与事件处理器详解
2016/12/01 Javascript
javaScript 连接打印机,打印小票的实例
2017/12/29 Javascript
微信小程序解除10个请求并发限制
2018/12/18 Javascript
JavaScript实现商品评价五星好评
2020/11/30 Javascript
[02:08]DOTA2英雄基础教程 马格纳斯
2014/01/17 DOTA
[48:21]Mski vs VGJ.S Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
Python 正则表达式操作指南
2009/05/04 Python
Python使用爬虫猜密码
2016/02/19 Python
Python文件夹与文件的相关操作(推荐)
2016/07/25 Python
Python序列操作之进阶篇
2016/12/08 Python
利用Python写一个爬妹子的爬虫
2018/06/08 Python
正确理解Python中if __name__ == '__main__'
2019/01/24 Python
利用python实现.dcm格式图像转为.jpg格式
2020/01/13 Python
PyCharm2020.1.2社区版安装,配置及使用教程详解(Windows)
2020/08/07 Python
Python爬虫抓取论坛关键字过程解析
2020/10/19 Python
马来西亚在线健康商店:Medipal Malaysia
2020/04/13 全球购物
在SQL Server中创建数据库主要有那种方式
2013/09/10 面试题
工厂厂长岗位职责
2013/11/08 职场文书
法警的竞聘演讲稿
2014/01/02 职场文书
元旦晚会感言
2014/03/12 职场文书
三八妇女节活动主持词
2014/03/17 职场文书
自强自立美德少年事迹材料
2014/08/16 职场文书
我的梦想演讲稿500字
2014/08/21 职场文书
超市开业庆典活动策划方案
2014/09/15 职场文书
服务器间如何实现文件共享
2022/05/20 Servers