CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法


Posted in PHP onJune 17, 2015

本文实例讲述了CodeIgniter实现从网站抓取图片并自动下载到文件夹里的方法。分享给大家供大家参考。具体如下:

因为某网站看图比较坑爹,要一页一页的翻页。。。。所以。。。。就写了这么个东西

(我是产品不是程序员)运行速度简直无法忍受,而且经常会有错误发生,所以希望大家帮忙改进(PHP)。

当然也欢迎看到PYTHON,GOLANG的版本~~^_^

1. controllers:

$this->load->helper('date');
$this->load->helper('phpQuery');
//我是把phpQuery单文件放到helper里了

2. view:

这里只是为了快速出产品,所以直接在VIEW里写的代码,请无视变量名。。。

<?php
$imageslist = phpQuery::newDocumentFile('http://g.e-hentai.org/g/xxxxx/xxxxxxx/');
//首页
$pn = 1;//页数
$ps = $imageslist->find('.ptt td a');//从首页抓页面导航
//从页面导航开始获取页面内容
foreach($ps as $p)
{
  echo '第'.$pn++.'页:<a href="'.pq($p)->attr("href").'"/></br>';
  $imagesnow = phpQuery::newDocumentFile(pq($p)->attr("href"));
  //单页内容
  $images = $imagesnow->find('#gdt a');//抓取图片页列表
  foreach($images as $image)
  {
    echo '<a href="'.pq($image,$imagesnow)->attr("href").'"/></br>';
    $imagebigs = phpQuery::newDocumentFile(pq($image,$imagesnow)->attr("href"));
    //获取单图片页地址
    echo '<img src="'.$imagebigs->find('#i3 img')->attr('src').'"></br>';//输出图片
    ob_start();
    readfile($imagebigs->find('#i3 img')->attr('src'));
    $img = ob_get_contents();
    ob_end_clean();
    $filename='img/'.now().'.jpg';
    $f=fopen($filename,'a');
    fwrite($f,$img);
    fclose($f);
  }
}
?>

希望本文所述对大家基于CodeIgniter的php程序设计有所帮助。

PHP 相关文章推荐
为IP查询添加GOOGLE地图功能的代码
Aug 08 PHP
fleaphp crud操作之findByField函数的使用方法
Apr 23 PHP
解析用PHP实现var_export的详细介绍
Jun 20 PHP
更改localhost为其他名字的方法
Feb 10 PHP
解决PhpMyAdmin中导入2M以上大文件限制的方法分享
Jun 06 PHP
php实现批量压缩图片文件大小的脚本
Jul 04 PHP
PHP的反射类ReflectionClass、ReflectionMethod使用实例
Aug 05 PHP
phpExcel中文帮助手册之常用功能指南
Aug 18 PHP
ThinkPHP做文字水印时提示call an undefined function exif_imagetype()解决方法
Oct 30 PHP
PHP获取文件夹内文件数的方法
Mar 12 PHP
PHP7下协程的实现方法详解
Dec 17 PHP
PHP实现的支付宝支付功能示例
Mar 26 PHP
PHP基于MySQL数据库实现对象持久层的方法
Jun 17 #PHP
php使用curl打开https网站的方法
Jun 17 #PHP
php使用CURL不依赖COOKIEJAR获取COOKIE的方法
Jun 17 #PHP
PHP封装的HttpClient类用法实例
Jun 17 #PHP
PHP处理postfix邮件内容的方法
Jun 16 #PHP
PHP限制HTML内容中图片必须是本站的方法
Jun 16 #PHP
php采集中国代理服务器网的方法
Jun 16 #PHP
You might like
强烈推荐:php.ini中文版(2)
2006/10/09 PHP
PHP中的strtr函数使用介绍(str_replace)
2011/10/20 PHP
分享一段PHP制作的中文拼音首字母工具类
2014/12/11 PHP
Zend Framework教程之Zend_Controller_Plugin插件用法详解
2016/03/07 PHP
全面解读PHP的Yii框架中的日志功能
2016/03/17 PHP
一个用js实现的页内搜索代码
2007/05/23 Javascript
javascript结合Flexbox简单实现滑动拼图游戏
2016/02/18 Javascript
JS简单编号生成器实现方法(附demo源码下载)
2016/04/05 Javascript
JS填写银行卡号每隔4位数字加一个空格
2016/12/19 Javascript
Vue + Webpack + Vue-loader学习教程之功能介绍篇
2017/03/14 Javascript
全面解析vue中的数据双向绑定
2017/05/10 Javascript
vue 实现 ios 原生picker 效果及实现思路解析
2017/12/06 Javascript
详解如何在微信小程序中愉快地使用sass
2018/07/30 Javascript
Vue表单及表单绑定方法
2018/09/04 Javascript
JS Array.from()将伪数组转换成数组的方法示例
2020/03/23 Javascript
javascript实现文字跑马灯效果
2020/06/18 Javascript
js编写简易的计算器
2020/07/29 Javascript
[01:01]青春无憾,一战成名——DOTA2全国高校联赛开启
2018/02/25 DOTA
Python封装shell命令实例分析
2015/05/05 Python
在Ubuntu系统下安装使用Python的GUI工具wxPython
2016/02/18 Python
python logging 日志轮转文件不删除问题的解决方法
2016/08/02 Python
解决tensorflow测试模型时NotFoundError错误的问题
2018/07/27 Python
Python Pandas数据中对时间的操作
2019/07/30 Python
Pytorch实现神经网络的分类方式
2020/01/08 Python
python中执行smtplib失败的处理方法
2020/07/01 Python
Python调用百度OCR实现图片文字识别的示例代码
2020/07/17 Python
用python写PDF转换器的实现
2020/10/29 Python
html5中如何将图片的绝对路径转换成文件对象
2018/01/11 HTML / CSS
HTML5 Blob 实现文件下载功能的示例代码
2019/11/29 HTML / CSS
大学生最新职业生涯规划书范文
2014/01/12 职场文书
大学军训感言1000字
2014/02/25 职场文书
党员承诺书内容
2014/03/26 职场文书
技术经济专业求职信
2014/09/03 职场文书
2015小学语文教师个人工作总结
2015/05/20 职场文书
职场领导同事生日简短祝福语
2019/08/06 职场文书
Python爬虫 简单介绍一下Xpath及使用
2022/04/26 Python