python3简单实现微信爬虫


Posted in Python onApril 09, 2015

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")
 
from ghost import Ghost
ghost = Ghost(wait_timeout=20)
 
url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")
 
from bs4 import BeautifulSoup
c=0
while True:
  if c>=30:
    break
 
  soup = BeautifulSoup(ghost.content)
 
  for wx in soup.find_all("h4"):
    print wx
 
  page, resources = ghost.evaluate(
    """
    var div1 = document.getElementById("wxbox");
    div1.innerHTML = '';
    """)
  ghost.click("#wxmore a")
  result, resources = ghost.wait_for_selector(".wx-rb3")
 
  c=c+1
  pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

Python 相关文章推荐
python基础教程之序列详解
Aug 29 Python
跟老齐学Python之再深点,更懂list
Sep 20 Python
详解Django中的ifequal和ifnotequal标签使用
Jul 16 Python
python中使用正则表达式的连接符示例代码
Oct 10 Python
实时获取Python的print输出流方法
Jan 07 Python
python print输出延时,让其立刻输出的方法
Jan 07 Python
Python中栈、队列与优先级队列的实现方法
Jun 30 Python
Mac PyCharm中的.gitignore 安装设置教程
Apr 16 Python
使用python+poco+夜神模拟器进行自动化测试实例
Apr 23 Python
python接入支付宝的实例操作
Jul 20 Python
python析构函数用法及注意事项
Jun 22 Python
Elasticsearch 聚合查询和排序
Apr 19 Python
初步理解Python进程的信号通讯
Apr 09 #Python
详解Python中的多线程编程
Apr 09 #Python
用Python解析XML的几种常见方法的介绍
Apr 09 #Python
在Python中使用pngquant压缩png图片的教程
Apr 09 #Python
python optparse模块使用实例
Apr 09 #Python
Python中处理时间的几种方法小结
Apr 09 #Python
Python CSV模块使用实例
Apr 09 #Python
You might like
php下实现折线图效果的代码
2007/04/28 PHP
php HtmlReplace输入过滤安全函数
2010/07/03 PHP
PHP全局变量与超级全局变量区别分析
2016/04/01 PHP
PHP提取字符串中的手机号正则表达式怎么写
2017/07/17 PHP
PHP 模拟登陆功能实例详解
2019/09/10 PHP
laravel邮件发送的实现代码示例
2020/01/31 PHP
优化 JavaScript 代码的方法小结
2009/07/16 Javascript
小议javascript 设计模式 推荐
2009/10/28 Javascript
基于jquery的滚动新闻列表
2010/06/19 Javascript
JavaScript在多浏览器下for循环的使用方法
2012/11/07 Javascript
JavaScript制作的可折叠弹出式菜单示例
2014/04/04 Javascript
javascript实现类似超链接的效果
2014/12/26 Javascript
jQuery实现获取绑定自定义事件元素的方法
2015/12/02 Javascript
jquery实现全选、不选、反选的两种方法
2016/09/06 Javascript
jquery滚动条插件(可以自定义)
2016/12/11 Javascript
javascript实现用户点击数量统计
2016/12/25 Javascript
jQuery插件ContextMenu自定义图标
2017/03/15 Javascript
JS实现的将html转为pdf功能【基于浏览器端插件jsPDF】
2018/02/06 Javascript
vue 属性拦截实现双向绑定的实例代码
2018/10/24 Javascript
layui 富文本赋值,取值,取纯文本值的实例
2019/09/18 Javascript
Layui tree 下拉菜单树的实例代码
2019/09/21 Javascript
Node.js实现简单管理系统
2019/09/23 Javascript
[03:24]2014DOTA2国际邀请赛 神秘商店生意火爆
2014/07/18 DOTA
Python制作爬虫抓取美女图
2016/01/20 Python
Pandas过滤dataframe中包含特定字符串的数据方法
2018/11/07 Python
python检测IP地址变化并触发事件
2018/12/26 Python
Python3 执行Linux Bash命令的方法
2019/07/12 Python
python分割一个文本为多个文本的方法
2019/07/22 Python
基于canvas的骨骼动画的示例代码
2018/06/12 HTML / CSS
可爱的童装和鞋子:Fabkids
2019/08/16 全球购物
sort命令的作用和用法
2012/11/04 面试题
给校长的建议书500字
2014/05/15 职场文书
党的群众路线教育实践活动心得体会(企业)
2014/11/03 职场文书
教师党员自我评价2015
2015/03/04 职场文书
党员承诺书范文2015
2015/04/27 职场文书
浅谈Java实现分布式事务的三种方案
2021/06/11 Java/Android