首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

python抓取京东价格分析京东商品价格走势

Posted in Python onJanuary 09, 2014 
from creepy import Crawler
from BeautifulSoup import BeautifulSoup
import urllib2
import json
class MyCrawler(Crawler):
    def process_document(self, doc):
        if doc.status == 200:
            print '[%d] %s' % (doc.status, doc.url)
            try:
                soup = BeautifulSoup(doc.text.decode('gb18030').encode('utf-8'))
            except Exception as e:
                print e
                soup = BeautifulSoup(doc.text)
            print soup.find(id="product-intro").div.h1.text
            url_id=urllib2.unquote(doc.url).decode('utf8').split('/')[-1].split('.')[0]
            f = urllib2.urlopen('http://p.3.cn/prices/get?skuid=J_'+url_id,timeout=5)
            price=json.loads(f.read())
            f.close()
            print price[0]['p']
        else:
            pass
crawler = MyCrawler()
crawler.set_follow_mode(Crawler.F_SAME_HOST)
crawler.set_concurrency_level(16)
crawler.add_url_filter('\.(jpg|jpeg|gif|png|js|css|swf)$')
crawler.crawl('http://item.jd.com/982040.html')

python抓取京东价格分析京东商品价格走势

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python简单程序读取串口信息的方法
Mar 13 Python
Python中使用ElementTree解析XML示例
Jun 02 Python
Python实现PS滤镜的旋转模糊功能示例
Jan 20 Python
Python callable()函数用法实例分析
Mar 17 Python
解决python "No module named pip" 的问题
Oct 13 Python
python ddt数据驱动最简实例代码
Feb 22 Python
python脚本后台执行方式
Dec 21 Python
读取nii或nii.gz文件中的信息即输出图像操作
Jul 01 Python
浅析python 字典嵌套
Sep 29 Python
python tkinter模块的简单使用
Apr 07 Python
python xlwt模块的使用解析
Apr 13 Python
使用Python通过企业微信应用给企业成员发消息
Apr 18 Python
python实现电子词典
Apr 23 #Python
python中cPickle用法例子分享
Jan 03 #Python
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 #Python
Python群发邮件实例代码
Jan 03 #Python
python切换hosts文件代码示例
Dec 31 #Python
使用Python进行稳定可靠的文件操作详解
Dec 31 #Python
python连接mongodb操作数据示例(mongodb数据库配置类)
Dec 31 #Python
贪吃蛇(2) mediapipe(1) 无限迭代(1) SnakeGame(1) while(1) python小游戏(5) cvzone(1) 计算机视觉(2) 德生2P3(1) for(1)
You might like
批量去除PHP文件中bom的PHP代码
2012/03/13 PHP
thinkphp的URL路由规则与配置实例
2014/11/26 PHP
支付宝支付开发――当面付条码支付和扫码支付实例
2016/11/04 PHP
PHP实现微信红包金额拆分试玩的算法示例
2018/04/07 PHP
详解关于php的xdebug配置(编辑器vscode)
2019/01/29 PHP
javascript 面向对象编程基础 多态
2009/08/21 Javascript
JS下高效拼装字符串的几种方法比较与测试代码
2010/04/15 Javascript
jquery $.each() 使用小探
2013/08/23 Javascript
控制input输入框中提示信息的显示和隐藏的方法
2014/02/12 Javascript
5个可以帮你理解JavaScript核心闭包和作用域的小例子
2014/10/08 Javascript
JavaScript调用浏览器打印功能实例分析
2015/07/17 Javascript
jQuery插件 Jqplot图表实例
2016/06/18 Javascript
JS前端加密算法示例
2016/12/22 Javascript
微信小程序使用request网络请求操作实例
2017/12/15 Javascript
在Vant的基础上实现添加表单验证框架的方法示例
2018/12/05 Javascript
vue项目设置scrollTop不起作用(总结)
2018/12/21 Javascript
NVM安装nodejs的方法实用步骤
2019/01/16 NodeJs
js获取form表单中name属性的值
2019/02/27 Javascript
jQuery - AJAX load() 实例用法详解
2019/08/27 jQuery
[58:18]2018DOTA2亚洲邀请赛3月29日 小组赛B组 iG VS Mineski
2018/03/30 DOTA
[36:13]Mineski vs iG 2018国际邀请赛小组赛BO2 第一场 8.16
2018/08/17 DOTA
python写入xml文件的方法
2015/05/08 Python
python 编程之twisted详解及简单实例
2017/01/28 Python
Python之list对应元素求和的方法
2018/06/28 Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
2019/04/15 Python
pandas 层次化索引的实现方法
2019/07/06 Python
Django ORM 自定义 char 类型字段解析
2019/08/09 Python
利用Python复制文件的9种方法总结
2019/09/02 Python
解决pycharm 安装numpy失败的问题
2019/12/05 Python
python GUI库图形界面开发之PyQt5状态栏控件QStatusBar详细使用方法实例
2020/02/28 Python
弄清Pytorch显存的分配机制
2020/12/10 Python
英国珠宝和手表专家：Pleasance & Harper
2020/10/21 全球购物
求最大连续递增数字串（如＂ads3sl456789DF3456ld345AA＂中的＂456789＂）
2015/09/11 面试题
中班开学寄语
2014/04/04 职场文书
社团活动总结范文
2014/04/26 职场文书
巾帼文明岗汇报材料
2014/12/24 职场文书