利用curl抓取远程页面内容的示例代码


Posted in PHP onJuly 23, 2013

最基本的操作如下

$curlPost = 'a=1&b=2';//模拟POST数据
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IP
curl_setopt($ch, CURLOPT_REFERER, "https://3water.com/");   //构造来路 
curl_setopt($ch,CURLOPT_URL, 'https://3water.com');//需要抓取的页面路径
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);//post值$file_contents = curl_exec($ch);//抓取的内容放在变量中
curl_close($ch)
PHP 相关文章推荐
如何在PHP中使用Oracle数据库(3)
Oct 09 PHP
PHP 编程请选择正确的文本编辑软件
Dec 21 PHP
php函数array_merge用法一例(合并同类数组)
Feb 03 PHP
php curl获取网页内容(IPV6下超时)的解决办法
Jul 16 PHP
discuz加密解密函数使用方法和中文注释
Jan 21 PHP
PHP用星号隐藏部份用户名、身份证、IP、手机号等实例
Apr 08 PHP
php通过数组实现多条件查询实现方法(字符串分割)
May 06 PHP
php读取远程gzip压缩网页的方法
Dec 29 PHP
php获取数据库中数据的实现方法
Jun 01 PHP
php实现将二维关联数组转换成字符串的方法详解
Jul 31 PHP
Laravel框架中VerifyCsrfToken报错问题的解决
Aug 30 PHP
PHP面向对象五大原则之接口隔离原则(ISP)详解
Apr 04 PHP
奉献出一个封装的curl函数 便于调用(抓数据专用)
Jul 22 #PHP
解析VS2010利用VS.PHP插件调试PHP的方法
Jul 19 #PHP
js限制checkbox勾选的个数以及php获取多个checkbbox的方法深入解析
Jul 18 #PHP
php的数组与字符串的转换函数整理汇总
Jul 18 #PHP
使用PHP编写的SVN类
Jul 18 #PHP
请离开include_once和require_once
Jul 18 #PHP
解析PHP中的unset究竟会不会释放内存
Jul 18 #PHP
You might like
第六节 访问属性和方法 [6]
2006/10/09 PHP
PHP下10件你也许并不了解的事情
2008/09/11 PHP
php 文件下载 出现下载文件内容乱码损坏的解决方法(推荐)
2016/11/16 PHP
什么是PHP文件?如何打开PHP文件?
2017/06/27 PHP
PHP 传输会话curl函数的实例详解
2017/09/12 PHP
Yii2结合Workerman的websocket示例详解
2018/09/10 PHP
因str_replace导致的注入问题总结
2019/08/08 PHP
Ubuntu 11.10 安装Node.js的方法
2011/11/30 Javascript
关于JQuery($.load)事件的用法和分析
2013/04/09 Javascript
jQuery中使用data()方法读取HTML5自定义属性data-*实例
2014/04/11 Javascript
Bootstrap实现登录校验表单(带验证码)
2016/06/23 Javascript
JavaScript 函数节流详解及方法总结
2017/02/09 Javascript
bootstrap表单示例代码分享
2017/05/18 Javascript
基于Vue的文字跑马灯组件(npm 组件包)
2017/05/24 Javascript
关于Angular2 + node接口调试的解决方案
2017/05/28 Javascript
JS中把函数作为另一函数的参数传递方法(总结)
2017/06/28 Javascript
微信小程序 按钮滑动的实现方法
2017/09/27 Javascript
Vue.js组件通信的几种姿势
2017/10/23 Javascript
create-react-app 修改为多入口编译的方法
2018/08/01 Javascript
基于bootstrap页面渲染的问题解决方法
2018/08/09 Javascript
vuex state中的数组变化监听实例
2019/11/06 Javascript
Vue.js实现大屏数字滚动翻转效果
2019/11/29 Javascript
vue实现员工信息录入功能
2020/06/11 Javascript
[41:37]DOTA2北京网鱼队选拔赛——冲击职业之路
2015/04/13 DOTA
Python算法之栈(stack)的实现
2014/08/18 Python
python实现在无须过多援引的情况下创建字典的方法
2014/09/25 Python
Django中模版的子目录与include标签的使用方法
2015/07/16 Python
python中实现数组和列表读取一列的方法
2018/04/03 Python
Python实现Mysql数据统计及numpy统计函数
2019/07/15 Python
Django使用unittest模块进行单元测试过程解析
2019/08/02 Python
python安装dlib库报错问题及解决方法
2020/03/16 Python
Mysql数据库反向生成Django里面的models指令方式
2020/05/18 Python
春节联欢晚会主持词范文
2014/03/24 职场文书
领导干部群众路线教育实践活动个人对照检查材料
2014/09/23 职场文书
Go语言入门exec的基本使用
2022/05/20 Golang
Spring Boot项目如何优雅实现Excel导入与导出功能
2022/06/10 Java/Android