PHP中使用CURL模拟登录并获取数据实例


Posted in PHP onJuly 01, 2014

cURL 是一个功能强大的PHP库,使用PHP的cURL库可以简单和有效地抓取网页并采集内容,设置cookie完成模拟登录网页,curl提供了丰富的函数,开发者可以从PHP手册中获取更多关于cURL信息。本文以模拟登录开源中国(oschina)为例,和大家分享cURL的使用。
PHP的curl()在抓取网页的效率方面是比较高的,而且支持多线程,而file_get_contents()效率就要稍低些,当然,使用curl时需要开启下curl扩展。

代码实战

先来看登录部分的代码:

//模拟登录 

function login_post($url, $cookie, $post) { 

    $curl = curl_init();//初始化curl模块 

    curl_setopt($curl, CURLOPT_URL, $url);//登录提交的地址 

    curl_setopt($curl, CURLOPT_HEADER, 0);//是否显示头信息 

    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 0);//是否自动显示返回的信息 

    curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); //设置Cookie信息保存在指定的文件中 

    curl_setopt($curl, CURLOPT_POST, 1);//post方式提交 

    curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($post));//要提交的信息 

    curl_exec($curl);//执行cURL 

    curl_close($curl);//关闭cURL资源,并且释放系统资源 

}

函数login_post()首先初始化curl_init(),然后使用curl_setopt()设置相关选项信息,包括要提交的url地址,保存的cookie文件,post的数据(用户名和密码等信息),是否返回信息等等,然后curl_exec执行curl,最后curl_close()释放资源。注意PHP自带的http_build_query()可以将数组转换成相连接的字符串。
接下来如果登录成功后,我们要获取登录成功后的页面信息。

//登录成功后获取数据 

function get_content($url, $cookie) { 

    $ch = curl_init(); 

    curl_setopt($ch, CURLOPT_URL, $url); 

    curl_setopt($ch, CURLOPT_HEADER, 0); 

    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 

    curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie); //读取cookie 

    $rs = curl_exec($ch); //执行cURL抓取页面内容 

    curl_close($ch); 

    return $rs; 

}

函数get_content()中也是先初始化curl,然后设置相关选项,执行curl,释放资源。其中我们设置CURLOPT_RETURNTRANSFER为1即自动返回信息,而CURLOPT_COOKIEFILE可以读取到登录时保存的cookie信息,最后将页面内容返回。

我们的最终目的是要获取到模拟登录后的信息,也就是只有正常登录成功后才能获取的有用信息。接下来我们以登录开源中国的移动版为例,看看如何抓取到登录成功后的信息。

//设置post的数据 

$post = array ( 

    'email' => 'oschina账户', 

    'pwd' => 'oschina密码', 

    'goto_page' => '/my', 

    'error_page' => '/login', 

    'save_login' => '1', 

    'submit' => '现在登录' 

); 

 

//登录地址 

$url = "http://m.3water.com/action/user/login"; 

//设置cookie保存路径 

$cookie = dirname(__FILE__) . '/cookie_3water.txt'; 

//登录后要获取信息的地址 

$url2 = "http://m.3water.com/my"; 

//模拟登录 

login_post($url, $cookie, $post); 

//获取登录页的信息 

$content = get_content($url2, $cookie); 

//删除cookie文件 

@ unlink($cookie); 

//匹配页面信息 

$preg = "/<td class='portrait'>(.*)<\/td>/i"; 

preg_match_all($preg, $content, $arr); 

$str = $arr[1][0]; 

//输出内容 

echo $str;

运行上述代码后,我们会看到最终获取到登录用户的头像图片。

PHP中使用CURL模拟登录并获取数据实例

使用总结:
1、初始化curl;
2、使用curl_setopt设置目标url,和其他选项;
3、curl_exec,执行curl;
4、执行后,关闭curl;
5、输出数据。

PHP 相关文章推荐
php实现的树形结构数据存取类实例
Nov 29 PHP
php中动态变量用法实例
Jun 10 PHP
php生成高清缩略图实例详解
Dec 07 PHP
thinkphp实现163、QQ邮箱收发邮件的方法
Dec 18 PHP
PHP自定义函数获取URL中一级域名的方法
Aug 23 PHP
php简单压缩css样式示例
Sep 22 PHP
yii2 resetful 授权验证详解
May 18 PHP
ThinkPHP实现转换数据库查询结果数据到对应类型的方法
Nov 16 PHP
php获取是星期几的的一些常用姿势
Dec 15 PHP
PHP Trait功能与用法实例分析
Jun 03 PHP
HTTP头隐藏PHP版本号实现过程解析
Dec 09 PHP
PHP7 新增常量
Mar 09 PHP
2个比较经典的PHP加密解密函数分享
Jul 01 #PHP
PHP实现生成唯一编号(36进制的不重复编号)
Jul 01 #PHP
ThinkPHP使用smarty模板引擎的方法
Jul 01 #PHP
PHP使用GIFEncoder类处理gif图片实例
Jul 01 #PHP
ThinkPHP模板IF标签用法详解
Jul 01 #PHP
PHP使用GIFEncoder类生成gif动态滚动字幕
Jul 01 #PHP
PHP使用GIFEncoder类生成的GIF动态图片验证码
Jul 01 #PHP
You might like
wamp下修改mysql访问密码的解决方法
2013/05/07 PHP
php.ini 配置文件的深入解析
2013/06/17 PHP
PHP判断浏览器、判断语言代码分享
2015/03/05 PHP
PHP中array_keys和array_unique函数源码的分析
2016/02/26 PHP
PHP编写登录验证码功能 附调用方法
2016/05/19 PHP
Aptana调试javascript图解教程
2009/11/30 Javascript
Prototype源码浅析 Number部分
2012/01/16 Javascript
web基于浏览器的本地存储方法应用
2012/11/27 Javascript
javascript函数以及基础写法100多条实用整理
2013/01/13 Javascript
设置checkbox为只读(readOnly)的两种方式
2013/10/11 Javascript
JS实现字符串转驼峰格式的方法
2016/12/16 Javascript
jQuery与js实现颜色渐变的方法
2016/12/30 Javascript
解决js相同的正则多次调用test()返回的值却不同的问题
2018/10/10 Javascript
vue自定义指令实现方法详解
2019/02/11 Javascript
javascript使用substring实现的展开与收缩文字功能示例
2019/06/17 Javascript
javascript系统时间设置操作示例
2019/06/17 Javascript
Vue3 中的数据侦测的实现
2019/10/09 Javascript
解决element-ui里的下拉多选框 el-select 时,默认值不可删除问题
2020/08/14 Javascript
vue实现图片裁剪后上传
2020/12/16 Vue.js
python多线程编程方式分析示例详解
2013/12/06 Python
下载给定网页上图片的方法
2014/02/18 Python
Python下的twisted框架入门指引
2015/04/15 Python
解决Linux系统中python matplotlib画图的中文显示问题
2017/06/15 Python
详谈python中冒号与逗号的区别
2018/04/18 Python
基于python实现百度翻译功能
2019/05/09 Python
python多线程共享变量的使用和效率方法
2019/07/16 Python
django认证系统 Authentication使用详解
2019/07/22 Python
python 用户交互输入input的4种用法详解
2019/09/24 Python
python 利用turtle库绘制笑脸和哭脸的例子
2019/11/23 Python
python 比较2张图片的相似度的方法示例
2019/12/18 Python
Theflamel意大利:女士奢华服装、鞋子和配件
2020/01/11 全球购物
武汉高蓝德国际.net机试
2016/06/24 面试题
制药工程专业职业生涯规划范文
2014/03/10 职场文书
信用卡结清证明怎么写
2014/09/13 职场文书
县委常委班子对照检查材料思想汇报
2014/09/28 职场文书
合同范本之电脑出租
2019/08/13 职场文书