python制作最美应用的爬虫


Posted in Python onOctober 28, 2015

安卓最美应用页面爬虫,爬虫很简单,设计的东西到挺多的
文件操作
正则表达式
字符串替换等等

import requests
import re
url = "http://zuimeia.com"
r = requests.get('http://zuimeia.com/community/app/hot/?platform=2')
pattern = re.compile(r'<a class="community-app-cover-wrapper" href="(.*?)" target="_blank">')
urlList = pattern.findall(r.content)

def requestsUrl(url):
 r = requests.get(url)
 title = re.findall(r'"app-title"><h1>(.*?)</h1>',r.content)
 #print title
 category = re.findall(r'<a class="app-tag" href="/community/app/category/title/.*?/?platform=2">(.*?)</a>',r.content)
 #print category

 describe = re.findall(r'<div id="article_content">(.*?)<div class="community-image-wrapper">',r.content)
 #print type(describe[0])
 strdescribe = srtReplace(describe[0])
 #print strdescribe

 downloadUrl = re.findall(r'<a class="download-button direct hidden" href="(.*?)"',r.content)
 #print downloadUrl

 return title,category,strdescribe,downloadUrl

def srtReplace(string):
 listReplace = ['<p>', '<br>', '<h1>', '<h2>', '<h3>', '<h4>', '<h5>', '<h6>', '<h7>','<strong>','</p>', '<br/>', '</h1>', '</h2>', '</h3>', '</h4>', '</h5>',
     '</h6>', '</h7>','</strong>','<b>', '</b>']
 for eachListReplace in listReplace:
  string = string.replace(str(eachListReplace),'\n')

 string = string.replace('\n\n','')
 return string

def categornFinal(category):
 categoryFinal =''
 for eachCategory in category:
  categoryFinal = categoryFinal+str(eachCategory)+'-->'
 return categoryFinal

def urlReplace(url):
 url = url.replace('&', '&')
 return url

requestsUrl("http://zuimeia.com/community/app/27369/?platform=2")
for eachUrl in urlList:
 eachUrl = url+eachUrl
 content = requestsUrl(eachUrl)
 categoryFinal =''

 title = content[0][0]
 category = categornFinal(content[1])
 strdescribe = content[2]
 downloadUrl = urlReplace(content[3][0])

 with open('c:/wqa.txt', 'a+') as fd:
  fd.write('title:'+title+'\n'+'category:'+category+'\n'+'strdescribe:'+strdescribe+'\n'+'downloadUrl:'+downloadUrl+'\n\n\n-----------------------------------------------------------------------------------------------------------------------------\n\n\n')
Python 相关文章推荐
python使用PyV8执行javascript代码示例分享
Dec 04 Python
python实现从web抓取文档的方法
Sep 26 Python
详解Python中的日志模块logging
Jun 19 Python
Python实现1-9数组形成的结果为100的所有运算式的示例
Nov 03 Python
Python之多线程爬虫抓取网页图片的示例代码
Jan 10 Python
Python使用base64模块进行二进制数据编码详解
Jan 11 Python
python的set处理二维数组转一维数组的方法示例
May 31 Python
django与vue的完美结合_实现前后端的分离开发之后在整合的方法
Aug 12 Python
Series和DataFrame使用简单入门
Nov 13 Python
Pytorch实现基于CharRNN的文本分类与生成示例
Jan 08 Python
Python Django view 两种return的实现方式
Mar 16 Python
Pycharm IDE的安装和使用教程详解
Apr 30 Python
python使用wmi模块获取windows下的系统信息 监控系统
Oct 27 #Python
详解JavaScript编程中的window与window.screen对象
Oct 26 #Python
深入讲解Python中的迭代器和生成器
Oct 26 #Python
Windows下使Python2.x版本的解释器与3.x共存的方法
Oct 25 #Python
解析Python编程中的包结构
Oct 25 #Python
Python实现获取域名所用服务器的真实IP
Oct 25 #Python
Python制作爬虫采集小说
Oct 25 #Python
You might like
php+javascript的日历控件
2009/11/19 PHP
PHP爆绝对路径方法收集整理
2012/09/17 PHP
两种设置php载入页面时编码的方法
2014/07/29 PHP
Thinkphp5行为使用方法汇总
2017/12/21 PHP
VBScript版代码高亮
2006/06/26 Javascript
javascript 在firebug调试时用console.log的方法
2012/05/10 Javascript
jQuery中change事件用法实例
2014/12/26 Javascript
jQuery如何防止这种冒泡事件发生
2015/02/27 Javascript
兼容各大浏览器的JavaScript阻止事件冒泡代码
2015/07/09 Javascript
Jquery实现的简单轮播效果【附实例】
2016/04/19 Javascript
Jquery Easyui表单组件Form使用详解(30)
2016/12/19 Javascript
JSON与js对象序列化实例详解
2017/03/16 Javascript
详解webpack分包及异步加载套路
2017/06/29 Javascript
使用Bootstrap和Vue实现用户信息的编辑删除功能
2017/10/25 Javascript
详解Angular中通过$location获取地址栏的参数
2018/08/02 Javascript
JS实现电脑虚拟键盘打字测试
2020/06/24 Javascript
浅析vue中的nextTick
2020/12/28 Vue.js
[06:16]《DAC最前线》之地区预选赛全面回顾
2015/01/19 DOTA
python实现文件名批量替换和内容替换
2014/03/20 Python
Python中itertools模块用法详解
2014/09/25 Python
python实现员工管理系统
2018/01/11 Python
浅谈tensorflow1.0 池化层(pooling)和全连接层(dense)
2018/04/27 Python
Python2.7环境Flask框架安装简明教程【已测试】
2018/07/13 Python
Python企业编码生成系统之系统主要函数设计详解
2019/07/26 Python
Django的性能优化实现解析
2019/07/30 Python
详解使用django-mama-cas快速搭建CAS服务的实现
2019/10/30 Python
python分布式编程实现过程解析
2019/11/08 Python
python 实现汉诺塔游戏
2020/11/28 Python
canvas 橡皮筋式线条绘图应用方法
2019/02/13 HTML / CSS
教师评优事迹材料
2014/01/10 职场文书
《我的信念》教学反思
2014/02/15 职场文书
四风对照检查材料范文
2014/09/27 职场文书
个人公司授权委托书范本
2014/10/12 职场文书
起诉意见书范文
2015/05/19 职场文书
mongoDB数据库索引快速入门指南
2022/03/23 MongoDB
聊聊mysql都有哪几种分区方式
2022/04/13 MySQL