Python爬虫之爬取二手房信息


Posted in Python onApril 27, 2021

前言

说到二手房信息,不知道你们心里最先跳出来的公司(网站)是什么,反正我心里第一个跳出来的是网站是 58 同城。哎呦,我这暴脾气,想到就赶紧去干。

但很显然,我失败了。说显然,而不是不幸,这是因为 58 同城是大公司,我这点本事爬不了数据是再正常不过的了。下面来看看 58 同城的反爬手段了。这是我爬取下来的网页源码。

Python爬虫之爬取二手房信息

我们看到爬取下来的源码有很多英文大写字母和数字是网页源码中没有的,后来我了解到 58 同城对自己的网站的源码进行了文本加密,所以就出现了我爬取到的情况。

爬取二手房信息

我打开 58 同城的 robots 协议。

Python爬虫之爬取二手房信息

好家伙,不愧是大公司,所有的动态网址都不让爬取,打扰了。我只好转头离开,去寻找可以让我这种小白爬取的二手房网站。于是我找到了c21网站,不知道是我的原因,还是别的原因,反正我是没有找到这个网站的 robots 协议。不管了,既然没找到,就默认没有吧,直接开始爬取。

我本来打算通过二手房的目录跳到一个具体信息,然后爬取二手房的一些基本信息和属性。

Python爬虫之爬取二手房信息
Python爬虫之爬取二手房信息

像我红笔圈起来的部分。但很可惜我失败了,后来我看了看红笔圈起来的部分的爬取到的源码。

Python爬虫之爬取二手房信息

好家伙,还可以这样。不过这怎么可以难倒机智的我?(其实我真不知道怎么解决它)。没关系,之前的源码里不是有类似的信息吗?我只好将就一下了。

Python爬虫之爬取二手房信息

然后是翻页。翻页问题很好解决,我们很快就发现网页都是 https://bj.c21.com.cn/ershoufang/pg2/。其中的页数和 pg 后面的数字有关。

然后就是分析这些数据源码的位置了。

Python爬虫之爬取二手房信息

首先,我们发现我们要爬取的数据全在 li 标签里,所以我们可以先获得 li 标签的列表。伪代码就像这样。

form lxml import etree
……   ……
tree = etree.HTML(源码)
li_list = tree.xpath( li 标签的路径)

这时候我们获得的就是 li 标签的 etree 的类,可以继续使用 etree 类里的函数。然后我们就可以利用 for 循环提出不同房源的 li 标签,根据自己的需要获取文本信息。

欧克,了解了这些(感觉源码前前后后就是四个字 ”我是菜鸡“ )我们就可以开始写代码了。

import requests
from lxml import etree
import re

if __name__ == "__main__":
    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    for pg in range(1, 3): # 翻两页
        # 指定 url
        url = "https://bj.c21.com.cn/ershoufang/pg%s/" % str(pg)

        # 获取网页源码
        page = requests.get(url = url, headers = header).text

        # xpath 解析
        tree = etree.HTML(page)
        li_list = tree.xpath('//ul[@id="availability"]/li') 
        for li in li_list:
            title = li.xpath('div[2]/div/a/text()')[0] # 房子的名称
            # print(title[0]) # 测试
            add = li.xpath('div[2]/div/p//a/text()') # 地址
            add = add[-2: ] + add[0:1] # 地址范围由大到小
            # print(add) # 测试
            div_list = li.xpath('div[2]/div[2]/div')
            # 具体信息
            message_list = ["建筑面积", "房屋户型", "房屋朝向", "所在楼层", "装修情况", "建成时间"]
            for i in range(6):
                div = div_list[i]
                message = div.xpath('span/text()')[0]
                message = re.sub("\s", "", str(message)) # 因为发现获取的文本有很多换行符和空格,所以需要去掉
                message = re.sub("\\n", "", str(message))
                message_list[i] = message_list[i] + ":" + message
            # print(message_list) # 测试
            # 交通情况
            traffic = li.xpath('div[2]/div[4]//text()')
            # print(traffic) # 测试
            # 价格情况
            price = li.xpath('div[2]/div[3]//text()')
            price = price[0] + price[1]
            # print(price) # 测试
            with open("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\二手房\\" + "二手房.txt", "a", encoding = "utf-8") as fp:
                fp.write(title + "\n")
                for message in message_list:
                    fp.write(message + "\n")
                if traffic == []:
                    fp.write("交通情况:无介绍" + "\n")
                else:
                    fp.write("交通情况:" + traffic[0] + "\n")
                fp.write("价格:" + price + "\n\n")
            print(title, "下载完成!!!")

    print("over!!!")

爬取结果

最后的运行结果就像这样

Python爬虫之爬取二手房信息

到此这篇关于Python爬虫之爬取二手房信息的文章就介绍到这了,更多相关Python爬取二手房信息内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python登录QQ邮箱发信的实现代码
Feb 10 Python
python抓取豆瓣图片并自动保存示例学习
Jan 10 Python
使用Python脚本对Linux服务器进行监控的教程
Apr 02 Python
python中关于for循环的碎碎念
Jun 30 Python
Python使用min、max函数查找二维数据矩阵中最小、最大值的方法
May 15 Python
使用python进行文本预处理和提取特征的实例
Jun 05 Python
Python读取txt内容写入xls格式excel中的方法
Oct 11 Python
Python Django实现layui风格+django分页功能的例子
Aug 29 Python
python加密解密库cryptography使用openSSL生成的密匙加密解密
Feb 11 Python
python文件读取失败怎么处理
Jun 23 Python
基于Python的接口自动化unittest测试框架和ddt数据驱动详解
Jan 27 Python
利用Python实现最小二乘法与梯度下降算法
Feb 21 Python
七个Python必备的GUI库
Python实战之用tkinter库做一个鼠标模拟点击器
Python基础之pandas数据合并
上手简单,功能强大的Python爬虫框架——feapder
python绘制箱型图
基于Python实现的购物商城管理系统
Apr 27 #Python
详解用Python把PDF转为Word方法总结
You might like
Yii2分页的使用及其扩展方法详解
2016/05/23 PHP
php表单处理操作
2017/11/16 PHP
PHP获取ttf格式文件字体名的方法示例
2019/03/06 PHP
Laravel第三方包报class not found的解决方法
2019/10/13 PHP
javascript五图轮播切换实用版
2012/08/17 Javascript
JS中window.open全屏命令解析及使用示例
2013/12/11 Javascript
JavaScript跨浏览器获取页面中相同class节点的方法
2015/03/03 Javascript
jQuery在ul中显示某个li索引号的方法
2015/03/17 Javascript
JavaScript事件类型中焦点、鼠标和滚轮事件详解
2016/01/25 Javascript
js中window.open的参数及注意注意事项
2016/07/06 Javascript
nodejs如何获取时间戳与时间差
2016/08/03 NodeJs
文件上传,iframe跨域数据提交的实现
2016/11/18 Javascript
jQuery动态生成表格及右键菜单功能示例
2017/01/13 Javascript
基于JavaScript实现拖动滑块效果
2017/02/16 Javascript
JavaScript 巧学巧用
2017/05/23 Javascript
angularjs $http实现form表单提交示例
2017/06/09 Javascript
基于node.js之调试器详解
2017/08/22 Javascript
微信小程序使用input组件实现密码框功能【附源码下载】
2017/12/11 Javascript
基于Vue.js与WordPress Rest API构建单页应用详解
2019/09/16 Javascript
[00:34]DOTA2上海特级锦标赛 Spirit战队宣传片
2016/03/04 DOTA
python实现聊天小程序
2018/03/13 Python
Python操作Sql Server 2008数据库的方法详解
2018/05/17 Python
Pandas读取MySQL数据到DataFrame的方法
2018/07/25 Python
Python使用sort和class实现的多级排序功能示例
2018/08/15 Python
利用python修改json文件的value方法
2018/12/31 Python
Python3.5文件读与写操作经典实例详解
2019/05/01 Python
Python修改列表值问题解决方案
2020/03/06 Python
Python QT组件库qtwidgets的使用
2020/11/02 Python
顶级宝石首饰网络零售商:Angara
2016/10/25 全球购物
加拿大品牌鞋包连锁店:Little Burgundy
2021/02/28 全球购物
局部内部类是否可以访问非final变量?
2013/04/20 面试题
一家外企的面试题目(C/C++面试题,C语言面试题)
2014/03/24 面试题
计算机网络专业个人的自我评价
2013/10/17 职场文书
广告宣传策划方案
2014/05/21 职场文书
春节慰问信范文
2015/02/15 职场文书
css3中2D转换之有趣的transform形变效果
2022/02/24 HTML / CSS