用Python的Django框架编写从Google Adsense中获得报表的应用


Posted in Python onApril 17, 2015

 我完成了更新我们在 Neutron的实时收入统计。在我花了一周的时间完成并且更新了我们的PHP脚本之后,我最终认决定开始使用Python进行抓取,这是值得我去花费我的时间和精力的事情。我建立了一个 Django程序,它可以从不同的来源存储收入统计,我可以用这些去简历视图和用于统计工具的API。

所以在过去的几天里,我写了一个脚本,它可以登入到其他的网页并抓取数据,或者,如果这些网页有 API,可以直接访问 API。我发现了一些事情。

1.requests >httplib2(requests多于httplib2);

2.SOAP很糟糕,但它至少是一个API,Suds使SOAP好一点。我了解到SOAP是我说知道的API中,唯一一个完全基于.net开发的。

3.Beautiful Soup是一个很好的求助对象;

4.我确实十分惊讶,这么多企业能在如此蹩脚的技术中生存下来。
 

我拯救了 Google Adsense,他们将会拥有最好的API,并且因此成为最简单的实现。他有着比我预想的要多的挑战。显然你无法仅仅插入用户名/密码或是APIkey去获取获得进入API的入口,你必须完成整个Oauth2的握手流程。

不幸的是,我发现文档不如我希望过得那样容易查询。我发现了很多死链接。我认为,在这方面Google的人应该做的更好。例如,在他们的up to date developer docs文档中,我发现他们指出了broken link to read more about authentication and authorization。(好的,多么奇怪,我尽快提交了这个问题,这个链接终于开始工作了,我猜你会感谢我。)

所以,这篇博客将尝试记录从Adsense获取报表到我的Django应用的过程。

为了使用Google的API来访问Adsense报表,你需要使用Adsense Management API. 这个API只提供OAuth,所以你需要在浏览器中至少完成一次认证过程,来获取你的证书,然后你可以保存这些证书来进行下一步操作。说实话,我已经听说过OAuth很多次了,但是直到现在,我在实践中仍没有需要来使用它。所以我是边做边学,并欢迎大家留言指出我说的不对的地方。

就我所知,Google对于它的各种产品都拥有一个庞大的API。在研究Adsense之前,你需要在Google API 控制台注册你的应用。我已经成功注册了我的应用。因为我还没有一个可用的URL地址,我现在暂时使用我的开发URL(localhost:8000)。它运作起来似乎正常。并使用提供的这个链接下载JSON文件。

还有,当你管理你的APIs的时候,你需要打开服务选项卡,打开AdSense Management API选项。否则,当你尝试发送请求的时候,你会得到一个错误消息“Access Not Configured”。

Google已经创建了一个Python 客户端库,你可以轻易的通过pip来安装这个库。它还包含一个Django样例项目,这个项目使用这个库实现OAuth2的握手过程。我想,它是使用Django 1.1编写的(因为在写这个项目的时候,Django 1.5才刚刚发布),所以它可能有点过时,但是它可是一个好的开始点。

我的应用很简单。我只需要读取指定日期的收益金额,并保存到我的本地数据库。

我在djaongo项目中创建了一个新的应用,叫做“adsense”。并创建了一个models.py文件来存储认证证书。
 

from django.contrib.auth.models import User
from django.db import models
from oauth2client.django_orm import CredentialsField
 
class Credential(models.Model):
  id = models.ForeignKey(User, primary_key=True)
  credential = CredentialsField()
 
class Revenue(models.Model):
  date = models.DateField(unique=True)
  revenue = models.DecimalField(max_digits=7, decimal_places=2)
 
  def __unicode__(self):
    return '{0} ${1}'.format(self.date, self.revenue)

我把从API控制台下载的JSON文件放到我的应用的文件夹下面,并创建了一个views.py文件

 

import os
 
from django.conf import settings
from django.contrib.auth.decorators import login_required
from django.contrib.sites.models import Site
from django.http import HttpResponseBadRequest, HttpResponse
from django.http import HttpResponseRedirect
from oauth2client import xsrfutil
from oauth2client.client import flow_from_clientsecrets
from oauth2client.django_orm import Storage
 
from .models import Credential
 
CLIENT_SECRETS = os.path.join(os.path.dirname(__file__), 'client_secrets.json')
 
FLOW = flow_from_clientsecrets(
  CLIENT_SECRETS,
  scope='https://www.googleapis.com/auth/adsense.readonly',
  redirect_uri='http://{0}/adsense/oauth2callback/'.format(
    Site.objects.get_current().domain))
 
@login_required
def index(request):
  storage = Storage(Credential, 'id', request.user, 'credential')
  credential = storage.get()
  if credential is None or credential.invalid is True:
    FLOW.params['state'] = xsrfutil.generate_token(settings.SECRET_KEY,
                            request.user)
    authorize_url = FLOW.step1_get_authorize_url()
    return HttpResponseRedirect(authorize_url)
  else:
    return HttpResponse('Already validated.')
 
@login_required
def auth_return(request):
  if not xsrfutil.validate_token(settings.SECRET_KEY,
                  request.REQUEST['state'], request.user):
    return HttpResponseBadRequest()
  credential = FLOW.step2_exchange(request.REQUEST)
  storage = Storage(Credential, 'id', request.user, 'credential')
  storage.put(credential)
  return HttpResponseRedirect("/")

在 urls.py 文件中我包含了一个链接指向我的应用的url文件

main urls.py:
 
from django.conf.urls import patterns, include, url
from django.contrib import admin
 
admin.autodiscover()
 
urlpatterns = patterns(
  '',
  url(r'^adsense/', include('adsense.urls', namespace='adsense')),
 
  url(r'^admin/doc/', include('django.contrib.admindocs.urls')),
  url(r'^admin/', include(admin.site.urls)),
)

adsense/urls.py:
 
from django.conf.urls import patterns, url
 
urlpatterns = patterns(
  'adsense.views',
  url(r'^$', 'index', name='index'),
  url(r'^oauth2callback/$', 'auth_return', name='auth_return'),
)

最后,创建了一个通过给定日期调用API并获取收益的类。它放在adsense/tasks.py,因为我准备把它当作任务,钩在 Celery/ RabbitMQ之上。
 

import datetime
import httplib2
 
from apiclient.discovery import build
from django.contrib.auth.models import User
from oauth2client.django_orm import Storage
 
from .models import Credential, Revenue
 
TODAY = datetime.date.today()
YESTERDAY = TODAY - datetime.timedelta(days=1)
 
class Scraper(object):
  def get_report(self, start_date=YESTERDAY, end_date=TODAY):
    user = User.objects.get(pk=1)
    storage = Storage(Credential, 'id', user, 'credential')
    credential = storage.get()
    if not credential is None or credential.invalid is False:
      http = httplib2.Http()
      http = credential.authorize(http)
      service = build('adsense', 'v1.2', http=http)
      reports = service.reports()
      report = reports.generate(
        startDate=start_date.strftime('%Y-%m-%d'),
        endDate=end_date.strftime('%Y-%m-%d'),
        dimension='DATE',
        metric='EARNINGS',
      )
      data = report.execute()
      for row in data['rows']:
        date = row[0]
        revenue = row[1]
 
        record = Revenue()
        try:
          r = Revenue.objects.get(date=date)
          pk = r.id
        except Revenue.DoesNotExist:
          pk = None
        record.id = pk
        record.date = date
        record.revenue = revenue
        record.save()

为了让它能工作起来,我在浏览器打开http://localhost:8000/adsense/。这时候会要求我登录Google帐号。我为我的应用授权来访问Adsense。然后,认证证书就会保存在我的本地数据库,然后我可以调用Scraper get_report() 方法。祝贺我吧!。它能顺利工作了。

Python 相关文章推荐
在Python中操作字典之update()方法的使用
May 22 Python
python中 logging的使用详解
Oct 25 Python
python处理csv中的空值方法
Jun 22 Python
Python设计模式之抽象工厂模式原理与用法详解
Jan 15 Python
Flask框架学习笔记之路由和反向路由详解【图文与实例】
Aug 12 Python
python实现一个函数版的名片管理系统过程解析
Aug 27 Python
Python从入门到精通之环境搭建教程图解
Sep 26 Python
PyQT5 emit 和 connect的用法详解
Dec 13 Python
Python3.9 beta2版本发布了,看看这7个新的PEP都是什么
Jun 10 Python
Python如何使用input函数获取输入
Aug 06 Python
Django url 路由匹配过程详解
Jan 22 Python
详解Django中 render() 函数的使用方法
Apr 22 Python
在Docker上开始部署Python应用的教程
Apr 17 #Python
使用Python装饰器在Django框架下去除冗余代码的教程
Apr 16 #Python
在服务器端实现无间断部署Python应用的教程
Apr 16 #Python
使用Protocol Buffers的C语言拓展提速Python程序的示例
Apr 16 #Python
使用Python编写一个模仿CPU工作的程序
Apr 16 #Python
利用Python中的mock库对Python代码进行模拟测试
Apr 16 #Python
使用Python脚本来控制Windows Azure的简单教程
Apr 16 #Python
You might like
php面向对象全攻略 (一) 面向对象基础知识
2009/09/30 PHP
PHP数组遍历知识汇总(包含遍历方法、数组指针操作函数、数组遍历测速)
2014/07/05 PHP
js中将多个语句写成一个语句的两种方法小结
2007/12/08 Javascript
jQuery 性能优化指南(2)
2009/05/21 Javascript
JS input文本框禁用右键和复制粘贴功能的代码
2010/04/15 Javascript
手把手教你自己写一个js表单验证框架的方法
2010/09/14 Javascript
ie6下png图片背景不透明的解决办法使用js实现
2013/01/11 Javascript
js或者jquery判断图片是否加载完成实现代码
2013/03/20 Javascript
jquery 提示信息显示后自动消失的具体实现
2013/12/18 Javascript
js toFixed()方法的重写实现精度的统一
2014/03/06 Javascript
基于javascript实现判断移动终端浏览器版本信息
2014/12/09 Javascript
多个jQuery版本共存的处理方案
2015/03/17 Javascript
jQuery.extend 函数及用法详细
2015/09/06 Javascript
Bootstrap轮播插件简单使用方法介绍
2016/06/21 Javascript
Javascript中数组去重与拍平的方法示例
2017/02/03 Javascript
vue 怎么创建组件及组件使用方法
2017/07/27 Javascript
JS简单实现数组去重的方法分析
2017/10/14 Javascript
详解在React里使用"Vuex"
2018/04/02 Javascript
详解基于React.js和Node.js的SSR实现方案
2019/03/21 Javascript
Vue.js实现备忘录功能
2019/06/26 Javascript
Vue之封装公用变量以及实现方式
2020/07/31 Javascript
[02:52]2017DOTA2国际邀请赛中国区预选赛晋级之路
2017/07/03 DOTA
python提取内容关键词的方法
2015/03/16 Python
Python函数式编程
2017/07/20 Python
python 统计列表中不同元素的数量方法
2018/06/29 Python
使用Python求解带约束的最优化问题详解
2020/02/11 Python
html5实现移动端适配完美写法
2017/11/16 HTML / CSS
小学教师的个人自我鉴定
2013/10/24 职场文书
新年爱情寄语
2014/04/08 职场文书
请假条标准格式规范
2014/04/10 职场文书
《她是我的朋友》教学反思
2014/04/26 职场文书
机电专业毕业生求职信
2014/07/01 职场文书
甜品店创业计划书
2014/08/14 职场文书
党建工作整改措施
2014/10/28 职场文书
有关西游记的读书笔记
2015/06/25 职场文书
nginx配置文件使用环境变量的操作方法
2021/06/02 Servers