python使用urllib模块和pyquery实现阿里巴巴排名查询


Posted in Python onJanuary 16, 2014

urllib基础模块的应用,通过该类获取到url中的html文档信息,内部可以重写代理的获取方法

class ProxyScrapy(object):
    def __init__(self):
        self.proxy_robot = ProxyRobot()
        self.current_proxy = None
        self.cookie = cookielib.CookieJar()    def __builder_proxy_cookie_opener(self):        
        cookie_handler = urllib2.HTTPCookieProcessor(self.cookie)        
        handlers = [cookie_handler]

        if PROXY_ENABLE:
            self.current_proxy = ip_port = self.proxy_robot.get_random_proxy()
            proxy_handler = urllib2.ProxyHandler({'http': ip_port[7:]})
            handlers.append(proxy_handler)
        opener = urllib2.build_opener(*handlers)
        urllib2.install_opener(opener)
        return opener
    def get_html_body(self,url):
        opener = self.__builder_proxy_cookie_opener()
        request=urllib2.Request(url)
        #request.add_header("Accept-Encoding", "gzip,deflate,sdch")
        #request.add_header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8")
        #request.add_header("Cache-Control", "no-cache")
        #request.add_header("Connection", "keep-alive")
        try:
            response = opener.open(request,timeout=2)
            http_code = response.getcode()
            if http_code == 200:
                if PROXY_ENABLE:
                    self.proxy_robot.handle_success_proxy(self.current_proxy)
                html = response.read()
                return html
            else:
                if PROXY_ENABLE:
                    self.proxy_robot.handle_double_proxy(self.current_proxy)
                return self.get_html_body(url)
        except Exception as inst:
            print inst,self.current_proxy
            self.proxy_robot.handle_double_proxy(self.current_proxy)
            return self.get_html_body(url)
Python 相关文章推荐
python处理按钮消息的实例详解
Jul 11 Python
Python实现图片滑动式验证识别方法
Nov 09 Python
解读python logging模块的使用方法
Apr 17 Python
Python 中的 import 机制之实现远程导入模块
Oct 29 Python
Django使用消息提示简单的弹出个对话框实例
Nov 15 Python
Python使用matplotlib绘制圆形代码实例
May 27 Python
解决Keras自带数据集与预训练model下载太慢问题
Jun 12 Python
如何使用Python自动生成报表并以邮件发送
Oct 15 Python
python模拟点击玩游戏的实例讲解
Nov 26 Python
在python3.9下如何安装scrapy的方法
Feb 03 Python
如何解决.cuda()加载用时很长的问题
May 24 Python
浅谈Python中的函数(def)及参数传递操作
May 25 Python
python3.3教程之模拟百度登陆代码分享
Jan 16 #Python
python解析发往本机的数据包示例 (解析数据包)
Jan 16 #Python
python多线程扫描端口示例
Jan 16 #Python
python发送arp欺骗攻击代码分析
Jan 16 #Python
分析python服务器拒绝服务攻击代码
Jan 16 #Python
python获取豆瓣电影简介代码分享
Jan 16 #Python
linux系统使用python获取cpu信息脚本分享
Jan 15 #Python
You might like
PHP的FTP学习(一)[转自奥索]
2006/10/09 PHP
PHP无敌近乎加密方式!
2010/07/17 PHP
服务器迁移php版本不同可能诱发的问题
2015/12/22 PHP
[原创]PHP实现生成vcf vcard文件功能类定义与使用方法详解【附demo源码下载】
2017/09/02 PHP
跟我一起学写jQuery插件开发方法(附完整实例及下载)
2010/04/01 Javascript
一些主流JS框架中DOMReady事件的实现小结
2011/02/12 Javascript
JavaScript fontcolor方法入门实例(按照指定的颜色来显示字符串)
2014/10/17 Javascript
jquery获得当前html页面源码的方法
2015/07/14 Javascript
JavaScript中利用Array和Object实现Map的方法
2015/07/27 Javascript
JavaScript实现图片轮播的方法
2015/07/31 Javascript
js读取并解析JSON类型数据的方法
2015/11/14 Javascript
javascript实现unicode与ASCII相互转换的方法
2015/12/10 Javascript
jQuery增加与删除table列的方法
2016/03/01 Javascript
对jQuary选择器的全面总结
2016/06/20 Javascript
简单实现js页面切换功能
2021/01/10 Javascript
js关于getImageData跨域问题的解决方法
2016/10/14 Javascript
详解使用Node.js 将txt文件转为Excel文件
2017/07/05 Javascript
Node.js进阶之核心模块https入门
2018/05/23 Javascript
深入浅析Vue全局组件与局部组件的区别
2018/06/15 Javascript
jQuery.extend 与 jQuery.fn.extend的用法及区别实例分析
2018/07/25 jQuery
vue路由切换之淡入淡出的简单实现
2019/10/31 Javascript
Vue中登录验证成功后保存token,并每次请求携带并验证token操作
2020/09/08 Javascript
Vue使用Element实现增删改查+打包的步骤
2020/11/25 Vue.js
Python合并字符串的3种方法
2015/05/21 Python
使用Python处理BAM的方法
2018/09/28 Python
python实战串口助手_解决8串口多个发送的问题
2019/06/12 Python
keras自动编码器实现系列之卷积自动编码器操作
2020/07/03 Python
python如何实现word批量转HTML
2020/09/30 Python
CSS3 border-image详解、应用及jQuery插件
2011/08/29 HTML / CSS
HTML5中视频音频的使用详解
2017/07/07 HTML / CSS
俄罗斯宠物用品网上商店:ZooMag
2019/12/12 全球购物
毕业自荐书
2013/12/09 职场文书
执行力心得体会
2013/12/31 职场文书
文明家庭先进事迹材料
2014/05/14 职场文书
2015安全保卫工作总结
2015/04/25 职场文书
公司晚宴祝酒词
2015/08/11 职场文书