利用curl抓取远程页面内容的示例代码


Posted in PHP onJuly 23, 2013

最基本的操作如下

$curlPost = 'a=1&b=2';//模拟POST数据
$ch = curl_init();
curl_setopt($ch, CURLOPT_HTTPHEADER, array('X-FORWARDED-FOR:0.0.0.0', 'CLIENT-IP:0.0.0.0'));  //构造IP
curl_setopt($ch, CURLOPT_REFERER, "https://3water.com/");   //构造来路 
curl_setopt($ch,CURLOPT_URL, 'https://3water.com');//需要抓取的页面路径
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); 
curl_setopt ($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_POSTFIELDS, $curlPost);//post值$file_contents = curl_exec($ch);//抓取的内容放在变量中
curl_close($ch)
PHP 相关文章推荐
用PHP+java实现自动新闻滚动窗口
Oct 09 PHP
用php+mysql一个名片库程序
Oct 09 PHP
php5.3 废弃函数小结
May 16 PHP
php 截取字符串并以零补齐str_pad() 函数
May 07 PHP
ThinkPHP3.1新特性之多层MVC的支持
Jun 19 PHP
使用PHP实现下载CSS文件中的图片
Dec 06 PHP
PHP运行模式汇总
Nov 06 PHP
php readfile下载大文件失败的解决方法
May 22 PHP
PHP实现双链表删除与插入节点的方法示例
Nov 11 PHP
php swoole多进程/多线程用法示例【基于php7nts版】
Aug 12 PHP
关于php开启错误提示的总结
Sep 24 PHP
Laravel 创建指定表 migrate的例子
Oct 09 PHP
奉献出一个封装的curl函数 便于调用(抓数据专用)
Jul 22 #PHP
解析VS2010利用VS.PHP插件调试PHP的方法
Jul 19 #PHP
js限制checkbox勾选的个数以及php获取多个checkbbox的方法深入解析
Jul 18 #PHP
php的数组与字符串的转换函数整理汇总
Jul 18 #PHP
使用PHP编写的SVN类
Jul 18 #PHP
请离开include_once和require_once
Jul 18 #PHP
解析PHP中的unset究竟会不会释放内存
Jul 18 #PHP
You might like
小文件php+SQLite存储方案
2010/09/04 PHP
php学习之 数组声明
2011/06/09 PHP
php多用户读写文件冲突的解决办法
2013/11/06 PHP
PHP中的Memcache详解
2014/04/05 PHP
Smarty模板简单配置与使用方法示例
2016/05/23 PHP
在你的网页中嵌入外部网页的方法
2007/04/02 Javascript
javascript Array对象基础知识小结
2010/11/16 Javascript
js 利用image对象实现图片的预加载提高访问速度
2013/03/29 Javascript
为开发者准备的10款最好的jQuery日历插件
2014/02/04 Javascript
jquery查找tr td 示例模拟
2014/05/08 Javascript
Javascript获取CSS伪元素属性的实现代码
2014/09/28 Javascript
js获取当前日期时间及其它操作汇总
2015/04/17 Javascript
解决angular的$http.post()提交数据时后台接收不到参数值问题的方法
2015/12/10 Javascript
使用微信内置浏览器点击下拉框出现页面乱跳转现象(iphone),该怎么办
2016/01/04 Javascript
Node.js读写文件之批量替换图片的实现方法
2016/09/07 Javascript
jquery popupDialog 使用 加载jsp页面的方法
2016/10/25 Javascript
浅谈使用splice函数对数组中的元素进行删除时的注意事项
2016/12/04 Javascript
bootstrap选项卡使用方法解析
2017/01/11 Javascript
vue中的ref和$refs的使用
2018/11/22 Javascript
使用Node.js实现base64和png文件相互转换的方法
2020/03/11 Javascript
python TF-IDF算法实现文本关键词提取
2019/05/29 Python
python3 BeautifulSoup模块使用字典的方法抓取a标签内的数据示例
2019/11/28 Python
基于 HTML5 WebGL 实现的垃圾分类系统
2019/10/08 HTML / CSS
万宝龙英国官网:Montblanc手表、书写工具、皮革和珠宝
2018/10/16 全球购物
如何拷贝一整个Java对象,包括它的状态
2013/12/27 面试题
出纳的岗位职责
2013/11/09 职场文书
酒店总经理助理岗位职责
2014/02/01 职场文书
机械设计及其自动化求职推荐信
2014/02/17 职场文书
道德模范事迹材料
2014/12/20 职场文书
补充协议书
2015/01/28 职场文书
工作岗位职责范本
2015/02/15 职场文书
优秀范文:《但愿人长久》教学反思3篇
2019/10/24 职场文书
导游词之永泰公主墓
2019/12/04 职场文书
如何利用golang运用mysql数据库
2022/03/13 Golang
VUE之图片Base64编码使用ElementUI组件上传
2022/04/09 Vue.js
苹果的回收机器人可以通过拆解iPhone获取大量的金和铜并外公布了环境保护最新进展
2022/04/21 数码科技