Python爬虫之爬取二手房信息


Posted in Python onApril 27, 2021

前言

说到二手房信息,不知道你们心里最先跳出来的公司(网站)是什么,反正我心里第一个跳出来的是网站是 58 同城。哎呦,我这暴脾气,想到就赶紧去干。

但很显然,我失败了。说显然,而不是不幸,这是因为 58 同城是大公司,我这点本事爬不了数据是再正常不过的了。下面来看看 58 同城的反爬手段了。这是我爬取下来的网页源码。

Python爬虫之爬取二手房信息

我们看到爬取下来的源码有很多英文大写字母和数字是网页源码中没有的,后来我了解到 58 同城对自己的网站的源码进行了文本加密,所以就出现了我爬取到的情况。

爬取二手房信息

我打开 58 同城的 robots 协议。

Python爬虫之爬取二手房信息

好家伙,不愧是大公司,所有的动态网址都不让爬取,打扰了。我只好转头离开,去寻找可以让我这种小白爬取的二手房网站。于是我找到了c21网站,不知道是我的原因,还是别的原因,反正我是没有找到这个网站的 robots 协议。不管了,既然没找到,就默认没有吧,直接开始爬取。

我本来打算通过二手房的目录跳到一个具体信息,然后爬取二手房的一些基本信息和属性。

Python爬虫之爬取二手房信息
Python爬虫之爬取二手房信息

像我红笔圈起来的部分。但很可惜我失败了,后来我看了看红笔圈起来的部分的爬取到的源码。

Python爬虫之爬取二手房信息

好家伙,还可以这样。不过这怎么可以难倒机智的我?(其实我真不知道怎么解决它)。没关系,之前的源码里不是有类似的信息吗?我只好将就一下了。

Python爬虫之爬取二手房信息

然后是翻页。翻页问题很好解决,我们很快就发现网页都是 https://bj.c21.com.cn/ershoufang/pg2/。其中的页数和 pg 后面的数字有关。

然后就是分析这些数据源码的位置了。

Python爬虫之爬取二手房信息

首先,我们发现我们要爬取的数据全在 li 标签里,所以我们可以先获得 li 标签的列表。伪代码就像这样。

form lxml import etree
……   ……
tree = etree.HTML(源码)
li_list = tree.xpath( li 标签的路径)

这时候我们获得的就是 li 标签的 etree 的类,可以继续使用 etree 类里的函数。然后我们就可以利用 for 循环提出不同房源的 li 标签,根据自己的需要获取文本信息。

欧克,了解了这些(感觉源码前前后后就是四个字 ”我是菜鸡“ )我们就可以开始写代码了。

import requests
from lxml import etree
import re

if __name__ == "__main__":
    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    for pg in range(1, 3): # 翻两页
        # 指定 url
        url = "https://bj.c21.com.cn/ershoufang/pg%s/" % str(pg)

        # 获取网页源码
        page = requests.get(url = url, headers = header).text

        # xpath 解析
        tree = etree.HTML(page)
        li_list = tree.xpath('//ul[@id="availability"]/li') 
        for li in li_list:
            title = li.xpath('div[2]/div/a/text()')[0] # 房子的名称
            # print(title[0]) # 测试
            add = li.xpath('div[2]/div/p//a/text()') # 地址
            add = add[-2: ] + add[0:1] # 地址范围由大到小
            # print(add) # 测试
            div_list = li.xpath('div[2]/div[2]/div')
            # 具体信息
            message_list = ["建筑面积", "房屋户型", "房屋朝向", "所在楼层", "装修情况", "建成时间"]
            for i in range(6):
                div = div_list[i]
                message = div.xpath('span/text()')[0]
                message = re.sub("\s", "", str(message)) # 因为发现获取的文本有很多换行符和空格,所以需要去掉
                message = re.sub("\\n", "", str(message))
                message_list[i] = message_list[i] + ":" + message
            # print(message_list) # 测试
            # 交通情况
            traffic = li.xpath('div[2]/div[4]//text()')
            # print(traffic) # 测试
            # 价格情况
            price = li.xpath('div[2]/div[3]//text()')
            price = price[0] + price[1]
            # print(price) # 测试
            with open("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\二手房\\" + "二手房.txt", "a", encoding = "utf-8") as fp:
                fp.write(title + "\n")
                for message in message_list:
                    fp.write(message + "\n")
                if traffic == []:
                    fp.write("交通情况:无介绍" + "\n")
                else:
                    fp.write("交通情况:" + traffic[0] + "\n")
                fp.write("价格:" + price + "\n\n")
            print(title, "下载完成!!!")

    print("over!!!")

爬取结果

最后的运行结果就像这样

Python爬虫之爬取二手房信息

到此这篇关于Python爬虫之爬取二手房信息的文章就介绍到这了,更多相关Python爬取二手房信息内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python使用PyV8执行javascript代码示例分享
Dec 04 Python
python文件操作整理汇总
Oct 21 Python
python将字符串转换成数组的方法
Apr 29 Python
Python实现根据IP地址和子网掩码算出网段的方法
Jul 30 Python
Python中read()、readline()和readlines()三者间的区别和用法
Jul 30 Python
Python实现的朴素贝叶斯分类器示例
Jan 06 Python
Python3解释器知识点总结
Feb 19 Python
Python 网络编程之TCP客户端/服务端功能示例【基于socket套接字】
Oct 12 Python
python编写计算器功能
Oct 25 Python
Python实现自定义读写分离代码实例
Nov 16 Python
PIL包中Image模块的convert()函数的具体使用
Feb 26 Python
python3使用Pillow、tesseract-ocr与pytesseract模块的图片识别的方法
Feb 26 Python
七个Python必备的GUI库
Python实战之用tkinter库做一个鼠标模拟点击器
Python基础之pandas数据合并
上手简单,功能强大的Python爬虫框架——feapder
python绘制箱型图
基于Python实现的购物商城管理系统
Apr 27 #Python
详解用Python把PDF转为Word方法总结
You might like
谈谈新手如何学习PHP
2006/12/23 PHP
ThinkPHP分页实例
2014/10/15 PHP
Laravel实现自定义错误输出内容的方法
2016/10/10 PHP
PHP进阶学习之依赖注入与Ioc容器详解
2019/06/19 PHP
Add Formatted Text to a Word Document
2007/06/15 Javascript
jquery 图片预加载 自动等比例缩放插件
2008/12/25 Javascript
图标线性回归斜着移动到指定的位置
2013/08/16 Javascript
jquery实现图片滚动效果的简单实例
2013/11/23 Javascript
javascript生成大小写字母
2015/07/03 Javascript
继续学习javascript闭包
2015/12/03 Javascript
移动适配的几种方案(三种方案)
2016/11/25 Javascript
nodejs连接mongodb数据库实现增删改查
2016/12/01 NodeJs
js实现五星评价功能
2017/03/08 Javascript
jQuery实现节点的追加、替换、删除、复制功能示例
2017/07/11 jQuery
vue watch普通监听和深度监听实例详解(数组和对象)
2018/08/16 Javascript
浅谈ElementUI中switch回调函数change的参数问题
2018/08/24 Javascript
JavaScript函数、闭包、原型、面向对象学习笔记
2018/09/06 Javascript
iview在vue-cli3如何按需加载的方法
2018/10/31 Javascript
谈谈React中的Render Props模式
2018/12/06 Javascript
Vue3 源码导读(推荐)
2019/10/14 Javascript
9种方法优化jQuery代码详解
2020/02/04 jQuery
[15:57]教你分分钟做大人:斧王
2014/10/30 DOTA
python获取指定目录下所有文件名列表的方法
2015/05/20 Python
浅谈插入排序算法在Python程序中的实现及简单改进
2016/05/04 Python
Sanic框架基于类的视图用法示例
2018/07/18 Python
Python实现的调用C语言函数功能简单实例
2019/03/13 Python
python 字符串常用方法汇总详解
2019/09/16 Python
python 发送json数据操作实例分析
2019/10/15 Python
python爬虫使用requests发送post请求示例详解
2020/08/05 Python
CSS3模拟IOS滑动开关效果
2016/09/28 HTML / CSS
瑞士香水购物网站:Parfumcity.ch
2017/01/14 全球购物
美国渔具店:FishUSA
2019/08/07 全球购物
读书活动总结
2014/04/28 职场文书
2014年置业顾问工作总结
2014/11/17 职场文书
2015年乡镇纪委工作总结
2015/05/26 职场文书
校运会新闻稿
2015/07/17 职场文书