Python爬虫实例——爬取美团美食数据


Posted in Python onJuly 15, 2020

1.分析美团美食网页的url参数构成

1)搜索要点

美团美食,地址:北京,搜索关键词:火锅

2)爬取的url

https://bj.meituan.com/s/%E7%81%AB%E9%94%85/

3)说明

url会有自动编码中文功能。所以火锅二字指的就是这一串我们不认识的代码%E7%81%AB%E9%94%85。

通过关键词城市的url构造,解析当前url中的bj=北京,/s/后面跟搜索关键词。

这样我们就可以了解到当前url的构造。

2.分析页面数据来源(F12开发者工具)

开启F12开发者工具,并且刷新当前页面:可以看到切换到第二页时候,我们的url没有变化,网站也没有自动进行刷新跳转操作。(web中ajax技术就是在保证页面不刷新,url不变化情况下进行数据加载的技术)

Python爬虫实例——爬取美团美食数据

此时我们需要在开发者工具中,找到xhr里面对应当前数据的响应文件。

Python爬虫实例——爬取美团美食数据

分析到这里可以得知:我们的数据是以json格式交互。分析第二页的json文件请求地址与第三页json文件的请求地址。

第二页:https://apimobile.meituan.com/group/v4/poi/pcsearch/1?uuid=xxx&userid=-1&limit=32&offset=32&cateId=-1&q=%E7%81%AB%E9%94%85

第三页:https://apimobile.meituan.com/group/v4/poi/pcsearch/1?uuid=xxx&userid=-1&limit=32&offset=64&cateId=-1&q=%E7%81%AB%E9%94%85

对比发现:offse参数每次翻页增加32,并且limit参数是一次请求的数据量,offse是数据请求的开始元素,q是搜索关键词poi/pcsearch/1?其中的1是北京城市的id编号。

3.构造请求抓取美团美食数据

接下来直接构造请求,循环访问每一页的数据,最终代码如下。

import requests
import re


def start():
  for w in range(0, 1600, 32):
  #页码根据实际情况x32即可,我这里是设置50页为上限,为了避免设置页码过高或者数据过少情况,定义最大上限为1600-也就是50页,使用try-except来检测时候异常,异常跳过该页,一般作为无数据跳过该页处理
    try:
    # 注意uuid后面参数空余将uuid后xxx替换为自己的uuid参数
      url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/1?uuid=xxx&userid=-1&limit=32&offset='+str(w)+'&cateId=-1&q=%E7%81%AB%E9%94%85'
      #headers的数据可以在F12开发者工具下面的requests_headers中查看,需要实现选择如下headers信息
      #必要情况 请求频繁 建议增加cookie参数在headers内
      headers = {
        'Accept': '*/*',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.9',
        'Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400',
        'Host': 'apimobile.meituan.com',
        'Origin': 'https://bj.meituan.com',
        'Referer': 'https://bj.meituan.com/s/%E7%81%AB%E9%94%85/'
      }
      response = requests.get(url, headers=headers)
      #正则获取当前响应内容中的数据,因json方法无法针对店铺特有的title键值进行获取没所以采用正则
   titles = re.findall('","title":"(.*?)","address":"', response.text)
     addresses = re.findall(',"address":"(.*?)",', response.text)
     avgprices = re.findall(',"avgprice":(.*?),', response.text)
     avgscores = re.findall(',"avgscore":(.*?),',response.text)
     comments = re.findall(',"comments":(.*?),',response.text)
     #输出当前返回数据的长度 是否为32
     print(len(titles), len(addresses), len(avgprices), len(avgscores), len(comments))
     for o in range(len(titles)):
     #循环遍历每一个值 写入文件中
       title = titles[o]
       address = addresses[o]
       avgprice = avgprices[o]
       avgscore = avgscores[o]
       comment = comments[o]
       #写入本地文件
       file_data(title, address, avgprice, avgscore, comment)

#文件写入方法
def file_data(title, address, avgprice, avgscore, comment):
  data = {
        '店铺名称': title,
        '店铺地址': address,
        '平均消费价格': avgprice,
        '店铺评分': avgscore,
        '评价人数': comment
      }
  with open('美团美食.txt', 'a', encoding='utf-8')as fb:
    fb.write(json.dumps(data, ensure_ascii=False) + '\n')
    #ensure_ascii=False必须加因为json.dumps方法不关闭转码会导致出现乱码情况
if __name__ == '__main__':
  start()

运行结果如下:

Python爬虫实例——爬取美团美食数据

本地文件:

Python爬虫实例——爬取美团美食数据

4.总结

根据搜索词变化,城市变化,可以改变url中指定的参数来实现。同时也要记得变更headers中的指定参数,方法简单,多加练习即可熟悉ajax类型的数据抓取。

以上就是Python爬虫实例——爬取美团美食数据的详细内容,更多关于Python爬虫爬取美食数据的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python实现设置windows桌面壁纸代码分享
Mar 28 Python
介绍Python的Urllib库的一些高级用法
Apr 30 Python
分析用Python脚本关闭文件操作的机制
Jun 28 Python
详解Python的Lambda函数与排序
Oct 25 Python
浅谈django三种缓存模式的使用及注意点
Sep 30 Python
Python运行不显示DOS窗口的解决方法
Oct 22 Python
使用Python快乐学数学Github万星神器Manim简介
Aug 07 Python
Python读写文件模式和文件对象方法实例详解
Sep 17 Python
关于TensorFlow新旧版本函数接口变化详解
Feb 10 Python
Python计算指定日期是今年的第几天(三种方法)
Mar 26 Python
tensorflow模型文件(ckpt)转pb文件的方法(不知道输出节点名)
Apr 22 Python
python属于软件吗
Jun 18 Python
django Model层常用验证器及自定义验证器详解
Jul 15 #Python
浅谈Django前端后端值传递问题
Jul 15 #Python
浅谈python出错时traceback的解读
Jul 15 #Python
Django视图、传参和forms验证操作
Jul 15 #Python
一文解决django 2.2与mysql兼容性问题
Jul 15 #Python
django 模型字段设置默认值代码
Jul 15 #Python
django序列化时使用外键的真实值操作
Jul 15 #Python
You might like
php程序效率优化的一些策略小结
2010/07/17 PHP
两级联动select刷新后其值保持不变的实现方法
2014/01/27 PHP
php使用ereg验证文件上传的方法
2014/12/16 PHP
PHP实现的迷你漂流瓶
2015/07/29 PHP
PHP实现文件下载【实例分享】
2017/04/28 PHP
Laravel 连接(Join)示例
2019/10/16 PHP
javascript针对DOM的应用分析(三)
2012/04/15 Javascript
js 自动播放的实例代码
2013/11/19 Javascript
谈谈JavaScript自定义回调函数
2015/10/18 Javascript
浅谈bootstrap使用中的一些问题以及解决过程
2016/10/18 Javascript
利用Vue.js实现求职在线之职位查询功能
2017/07/03 Javascript
详解webpack与SPA实践之开发环境搭建
2017/12/18 Javascript
浅谈Vue初学之props的驼峰命名
2018/07/19 Javascript
Vue实现移动端页面切换效果【推荐】
2018/11/13 Javascript
Nodejs 识别图片类型的方法
2019/08/15 NodeJs
vue实现表格过滤功能
2019/09/27 Javascript
js实现简单商品筛选功能
2021/02/02 Javascript
Pythont特殊语法filter,map,reduce,apply使用方法
2016/02/27 Python
Python中定时任务框架APScheduler的快速入门指南
2017/07/06 Python
Python批量删除只保留最近几天table的代码实例
2019/04/01 Python
python excel转换csv代码实例
2019/08/26 Python
Django通用类视图实现忘记密码重置密码功能示例
2019/12/17 Python
Python+Kepler.gl实现时间轮播地图过程解析
2020/07/20 Python
浅谈对python中if、elif、else的误解
2020/08/20 Python
html5的canvas实现3d雪花飘舞效果
2013/12/27 HTML / CSS
canvas实现图片镜像翻转的2种方式
2020/07/22 HTML / CSS
Philosophy美国官网:美国美容品牌
2016/08/15 全球购物
台湾演唱会订票网站:StubHub台湾
2019/06/11 全球购物
Unix如何添加新的用户
2014/08/20 面试题
农民致富事迹材料
2014/01/23 职场文书
质量安全标语
2014/06/07 职场文书
人事行政经理岗位职责
2014/06/18 职场文书
三问三解心得体会
2014/09/05 职场文书
青年志愿者服务活动总结
2015/05/06 职场文书
Python Pandas知识点之缺失值处理详解
2021/05/11 Python
box-shadow单边阴影的实现
2023/05/21 HTML / CSS