python3简单实现微信爬虫


Posted in Python onApril 09, 2015

使用ghost.py 通过搜搜 的微信搜索来爬取微信公共账号的信息

# -*- coding: utf-8 -*-
import sys
reload(sys)
import datetime
import time
sys.setdefaultencoding("utf-8")
 
from ghost import Ghost
ghost = Ghost(wait_timeout=20)
 
url="http://weixin.sogou.com/gzh?openid=oIWsFt8JDv7xubXz5E3U41T0eFbk"
page,resources = ghost.open(url)
result, resources = ghost.wait_for_selector("#wxmore a")
 
from bs4 import BeautifulSoup
c=0
while True:
  if c>=30:
    break
 
  soup = BeautifulSoup(ghost.content)
 
  for wx in soup.find_all("h4"):
    print wx
 
  page, resources = ghost.evaluate(
    """
    var div1 = document.getElementById("wxbox");
    div1.innerHTML = '';
    """)
  ghost.click("#wxmore a")
  result, resources = ghost.wait_for_selector(".wx-rb3")
 
  c=c+1
  pass

以上所述就是本文的全部内容了,希望对大家学习Python能够有所帮助

Python 相关文章推荐
python计算书页码的统计数字问题实例
Sep 26 Python
Python基于sftp及rsa密匙实现远程拷贝文件的方法
Sep 21 Python
Python爬取网易云音乐热门评论
Mar 31 Python
视觉直观感受若干常用排序算法
Apr 13 Python
Django 日志配置按日期滚动的方法
Jan 31 Python
Python中模块(Module)和包(Package)的区别详解
Aug 07 Python
python如何实现不用装饰器实现登陆器小程序
Dec 14 Python
利用Python代码实现一键抠背景功能
Dec 29 Python
Python参数传递实现过程及原理详解
May 14 Python
Python读取pdf表格写入excel的方法
Jan 22 Python
python抢购软件/插件/脚本附完整源码
Mar 04 Python
PO模式在selenium自动化测试框架的优势
Mar 20 Python
初步理解Python进程的信号通讯
Apr 09 #Python
详解Python中的多线程编程
Apr 09 #Python
用Python解析XML的几种常见方法的介绍
Apr 09 #Python
在Python中使用pngquant压缩png图片的教程
Apr 09 #Python
python optparse模块使用实例
Apr 09 #Python
Python中处理时间的几种方法小结
Apr 09 #Python
Python CSV模块使用实例
Apr 09 #Python
You might like
简单的PHP图片上传程序
2008/03/27 PHP
PHP文件打开、关闭、写入的判断与执行代码
2011/05/24 PHP
PHP设计模式之装饰者模式
2012/02/29 PHP
php四种基础算法代码实例
2013/10/29 PHP
destoon整合UCenter图文教程
2014/06/21 PHP
php实现大文件断点续传下载实例代码
2019/10/01 PHP
php7 图形用户界面GUI 开发示例
2020/02/22 PHP
javascript 日期时间函数(经典+完善+实用)
2009/05/27 Javascript
JQery jstree 大数据量问题解决方法
2010/03/09 Javascript
$.get获取一个文件的内容示例代码
2013/09/11 Javascript
Jquery的Tabs内容轮换效果实现代码,几行搞定
2014/02/12 Javascript
深入理解JS中的变量及作用域、undefined与null
2014/03/04 Javascript
jQuery中html()方法用法实例
2014/12/25 Javascript
js实现跨域的多种方法
2015/12/25 Javascript
jQuery中事件与动画的总结分享
2016/05/24 Javascript
微信js-sdk分享功能接口常用逻辑封装示例
2016/10/13 Javascript
JS数字千分位格式化实现方法总结
2016/12/16 Javascript
原生js验证简洁注册登录页面
2016/12/17 Javascript
JavaScript事件方法(实例讲解)
2017/06/27 Javascript
vue利用better-scroll实现轮播图与页面滚动详解
2017/10/20 Javascript
vue .js绑定checkbox并获取、改变选中状态的实例
2018/08/24 Javascript
小程序实现搜索框
2020/06/19 Javascript
Vue.js路由实现选项卡简单实例
2019/07/24 Javascript
layui表单验证select下拉框实现验证的方法
2019/09/05 Javascript
[01:12](回顾)DOTA2国际邀请赛,全世界DOTAer的盛宴
2014/07/01 DOTA
[01:32:50]DOTA2-DPC中国联赛 正赛 DLG vs XG BO3 第一场 1月25日
2021/03/11 DOTA
Python实现中一次读取多个值的方法
2018/04/22 Python
django静态文件加载的方法
2018/05/20 Python
简单了解Python write writelines区别
2020/02/27 Python
Python爬虫之Selenium鼠标事件的实现
2020/12/04 Python
python-地图可视化组件folium的操作
2020/12/14 Python
迪士尼法国在线商店:shopDisney FR
2020/12/03 全球购物
金融专业毕业生自荐信
2014/06/26 职场文书
2015年七一建党节演讲稿
2015/03/19 职场文书
2015年部门工作总结范文
2015/03/31 职场文书
给老师的保证书怎么写
2015/05/09 职场文书