python抓取京东价格分析京东商品价格走势


Posted in Python onJanuary 09, 2014
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
Python 相关文章推荐
Python中利用Scipy包的SIFT方法进行图片识别的实例教程
Jun 03 Python
解决python3 urllib中urlopen报错的问题
Mar 25 Python
Python实现一个服务器监听多个客户端请求
Apr 12 Python
Django 浅谈根据配置生成SQL语句的问题
May 29 Python
详解python函数的闭包问题(内部函数与外部函数详述)
May 17 Python
Django框架实现的分页demo示例
May 25 Python
python 多线程对post请求服务器测试并发的方法
Jun 13 Python
使用Pyinstaller转换.py文件为.exe可执行程序过程详解
Aug 06 Python
python实现H2O中的随机森林算法介绍及其项目实战
Aug 29 Python
Python高级property属性用法实例分析
Nov 19 Python
使用pytorch实现论文中的unet网络
Jun 24 Python
python实现腾讯滑块验证码识别
Apr 27 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
You might like
PHP中MD5函数使用实例代码
2008/06/07 PHP
试用php中oci8扩展
2015/06/18 PHP
Laravel框架使用技巧之使用url()全局函数返回前一个页面的地址方法详解
2020/04/06 PHP
JavaScript 三种创建对象的方法
2009/10/16 Javascript
javascript 时间比较实现代码
2009/10/28 Javascript
js转义字符介绍
2013/11/05 Javascript
js查找某元素中的所有图片地址的方法
2014/01/16 Javascript
js的image onload事件使用遇到的问题
2014/07/15 Javascript
jquery获取及设置outerhtml的方法
2015/03/09 Javascript
JavaScript获取当前日期是星期几的方法
2015/04/06 Javascript
JS实现自动定时切换的简洁网页选项卡效果
2015/10/13 Javascript
详解JavaScript基本类型和引用类型
2015/12/09 Javascript
JS使用cookie设置样式的方法
2016/06/30 Javascript
VsCode新建VueJs项目的详细步骤
2017/09/23 Javascript
JavaScript实现新年倒计时效果
2018/11/17 Javascript
了解前端理论:rscss和rsjs
2019/05/23 Javascript
antd table按表格里的日期去排序操作
2020/11/17 Javascript
vue3弹出层V3Popup实例详解
2021/01/04 Vue.js
[37:37]DAC2018 4.4 淘汰赛 Optic vs Mineski 第二场
2018/04/05 DOTA
python自动化测试之setUp与tearDown实例
2014/09/28 Python
通过python3实现投票功能代码实例
2019/09/26 Python
基于python的列表list和集合set操作
2019/11/24 Python
Pytorch to(device)用法
2020/01/08 Python
Python对wav文件的重采样实例
2020/02/25 Python
简单的命令查看安装的python版本号
2020/08/28 Python
Python数据库封装实现代码示例解析
2020/09/05 Python
5分钟让你掌握css3阴影、倒影、渐变小技巧(小编推荐)
2016/08/15 HTML / CSS
Booking.com美国:全球酒店预订网站
2017/04/18 全球购物
初中三年学生的学习自我评价
2013/11/13 职场文书
4s客服专员岗位职责
2013/12/01 职场文书
学子宴答谢词
2014/01/25 职场文书
学生请假条格式
2014/04/11 职场文书
市级绿色学校申报材料
2014/08/25 职场文书
中班下学期幼儿评语
2014/12/30 职场文书
2015最新婚礼主持词
2015/06/30 职场文书
升学宴来宾致辞
2015/07/27 职场文书