python抓取京东价格分析京东商品价格走势


Posted in Python onJanuary 09, 2014
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')
Python 相关文章推荐
Python聚类算法之DBSACN实例分析
Nov 20 Python
Python判断变量是否为Json格式的字符串示例
May 03 Python
用virtualenv建立多个Python独立虚拟开发环境
Jul 06 Python
Python操作mysql数据库实现增删查改功能的方法
Jan 15 Python
利用Python检测URL状态
Jul 31 Python
详解python 利用echarts画地图(热力图)(世界地图,省市地图,区县地图)
Aug 06 Python
Python读取实时数据流示例
Dec 02 Python
Python函数式编程实例详解
Jan 17 Python
Python通过两个dataframe用for循环求笛卡尔积
Apr 29 Python
Python3读写ini配置文件的示例
Nov 06 Python
4种非常实用的python内置数据结构
Apr 28 Python
Python中的 enumerate和zip详情
May 30 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
You might like
php heredoc和phpwind的模板技术使用方法小结
2008/03/28 PHP
Linux中用PHP判断程序运行状态的2个方法
2014/05/04 PHP
TP5框架实现自定义分页样式的方法示例
2020/04/05 PHP
datePicker——日期选择控件(with jquery)
2007/02/20 Javascript
JQuery 文本框使用小结
2010/05/22 Javascript
js获取元素到文档区域document的(横向、纵向)坐标的两种方法
2013/05/17 Javascript
Js注册协议倒计时的小例子
2013/06/24 Javascript
jQuery实现鼠标划过展示大图的方法
2015/03/09 Javascript
JavaScript获取DOM元素的11种方法总结
2015/04/25 Javascript
js实现的四级左侧网站分类菜单实例
2015/05/06 Javascript
利用Javascript实现BMI计算器
2016/08/16 Javascript
JQuery和PHP结合实现动态进度条上传显示
2016/11/23 Javascript
JavaScript字符串对象(string)基本用法示例
2017/01/18 Javascript
基于Bootstrap 3 JQuery及RegExp的表单验证功能
2017/02/16 Javascript
微信小程序实现给循环列表添加点击样式实例
2017/04/26 Javascript
详解ECMAScript6入门--Class对象
2017/04/27 Javascript
react-router4 嵌套路由的使用方法
2017/07/24 Javascript
详解vue-cli脚手架build目录中的dev-server.js配置文件
2017/11/24 Javascript
Parcel.js + Vue 2.x 极速零配置打包体验教程
2017/12/24 Javascript
基于vue-simplemde实现图片拖拽、粘贴功能
2018/04/12 Javascript
Node.js命令行/批处理中如何更改Linux用户密码浅析
2018/07/22 Javascript
详解ES6 Fetch API HTTP请求实用指南
2018/11/14 Javascript
ES6知识点整理之函数对象参数默认值及其解构应用示例
2019/04/17 Javascript
[02:19]DOTA2女子战队FOX视频专访:希望更多美眉一起加入
2013/10/15 DOTA
python list元素为tuple时的排序方法
2018/04/18 Python
使用EduBlock轻松学习Python编程
2018/10/08 Python
Python os.rename() 重命名目录和文件的示例
2018/10/25 Python
Python实现计算字符串中出现次数最多的字符示例
2019/01/21 Python
Python3.4学习笔记之常用操作符,条件分支和循环用法示例
2019/03/01 Python
如何让python的运行速度得到提升
2020/07/08 Python
Restful_framework视图组件代码实例解析
2020/11/17 Python
使用canvas实现黑客帝国数字雨效果
2020/01/02 HTML / CSS
写给老师的表扬信
2014/01/21 职场文书
日语专业个人求职信范文
2014/02/02 职场文书
大家检讨书5000字
2014/02/03 职场文书
2015年度考核个人工作总结
2015/10/24 职场文书