- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据挖掘
链家二手房楼盘爬虫
前言 想看下最近房价是否能入手，抓取链家 二手房 、 新房 的信息，发现广州有些精装修 88平米 的 3房2厅 首付只要 29 万！平均 1.1万/平： ? 新房': '/bj/loupan/fang/', '找小区': '/bj/xiaoqu/', '查成交': '/bj/chengjiao/', '租房': '/chuzu/bj/zufang/', '二手房 点击二手房链接进入二手房列表页面，发现列表页面的 url 是 https://m.lianjia.com/bj/ershoufang/index/ ，把网页往下拉进行翻页，发现下一页的 url 构造为 requests.utils.dict_from_cookiejar(session.cookies) return html_set_cookie, html_bytes.content.decode("utf-8" url_detail, headers=headerJson, cookies=html_set_cookie) html_detail = html_bytes.content.decode("utf-8"
1.8K30发布于 2019-07-01 - 来自专栏谭小谭
python采集链家二手房信息
说到爬虫，前面也有说过，无非就三个主要的步骤 1、获取目标网页或接口 2、从目标网页或接口中解析并提炼出你要的数据字段 3、数据保存 我们今天就以链家平台上北京地区二手房为例，首先是打开目标网页。 /lianjiaData.csv", encoding='utf_8_sig', index=False, columns=columns) 推荐文章： 下载抖音无水印视频 介绍一个好玩的
1.2K30发布于 2019-06-03 - 来自专栏吉吉的机器学习乐园
Python二手房价格预测（一）——数据获取
01 前言 ---- 二手房价格预测问题一直作为基础的数据分析入门课题，有许多开源的房价预测数据集。这些数据虽为经典，但时效上有所不足。 因此我将在此记录Python从0到1的二手房房价预测过程，从数据获取开始。 02 获取单个二手房售卖链接 ---- 以链家网为例 我们需要获取对应城市的二手房售卖链接，图中红色框起来的就是一条链接。 houseIdSet.add(a.get("href")) # print(a.get("href")) return list(houseIdSet) 02 获取单个二手房售卖链接 ---- 进入到单个的二手房售卖页面，以下几张图中，红色框起来的部分是我们要获取的内容。 03 获取该城市所有的数据 ---- 我们将某城市二手房页面拉到最底，似乎只能显示100页，每页有30条二手房售卖链接。
1.3K10编辑于 2022-07-13 - 来自专栏XINDOO的专栏
python爬虫爬取链家二手房信息
我用scrapy实现了一个爬取链家二手房的爬虫，全部源码我已经放到github上了https://github.com/xindoo/ershoufang。 问题二 我代码里只爬取了3000套二手房价格，北京市实际在售的二手房大概有两万套，不是我不想全爬，只是链家只展示100页（3000套）的内容，排序方式我也并不清楚。 http://bj.lianjia.com/ershoufang/pg1/，一直爬取到100页， 我在代码里注释掉的 start_urls包含了北京市所有的区，如果不被ban，理论上是可以拿到北京市所有的二手房信息的 # -*- coding: utf-8 -*- import scrapy import re class ershoufangSpider(scrapy.Spider): name = "ershoufang
1.6K10发布于 2021-01-22 - 来自专栏可以叫我才哥
Python爬取贝壳找房8万+二手房源，看看普通人在北京买房是有多难！
今天，我们从贝壳找房 爬取了 8万+二手房源信息，看看在北京的二手房都是什么样的存在。 均价直方图 绘图代码： # 均价直方图 plt.figure(figsize=(15,8)) sns.set_context("talk") sns.histplot(data.均价).set(ylabel 朝阳区东山墅、霄云路8号，丰台区的国际花园，海淀区的龙湖颐和原著、香山清琴山庄，昌平区的东方普罗米修斯一期都有着7000万以上一套的房子。。 ? 新南路40号独栋别墅 4.4.各地区二手房面积 我们去掉房子面积大于400的372套房源，仅统计面积低于400的8万套房源。 各地区二手房【户型-地区】数量分布 4.9.各地区二手房【户型-地区】均价分布 从不同户型的均价来看，基本上差距不大。
1.7K30发布于 2021-08-05 - 来自专栏python学习教程
Python爬虫 爬取北京二手房数据
房价高是北漂们一直关心的话题，本文就对北京的二手房数据进行了分析。 本文主要分为两部分：Python爬取赶集网北京二手房数据，R对爬取的二手房房价做线性回归分析，适合刚刚接触Python&R的同学们学习参考。 Python爬取赶集网北京二手房数据 入门爬虫一个月，所以对每一个网站都使用了Xpath、Beautiful Soup、正则三种方法分别爬取，用于练习巩固。数据来源如下： ? text, 'Price':div.find('div',class_=re.compile('time')).text } #有一些二手房信息缺少部分信息 R对爬取的二手房房价做一般线性回归分析 下面我们用R对抓取的赶集网北京二手房数据做一些简单的分析。
1.2K50发布于 2019-07-10 - 来自专栏凹凸玩数据
二手房价格及信息爬取
爬取准备 某家网站里有新房、二手房、租房等待。如果买房，尤其是在北京的首套，可能二手房是选择之一，那我就针对二手房研究一下。 上图是某家二手房展示页面其中一套房的信息，我需要提取它的：位置、几室几厅、平米数、朝向、装修风格、层数、建造年份、建筑形式、售价。 , '地区', '厅','平米数','方向','状态','层','build-year','形式','钱','单位','网址','推荐语'] # 如果文件由第一行,就不用了 with open('链家二手房 100页.csv', 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file, delimiter=',') house_all) # writer.writerow() with open('链家新房100个.csv', 'a', newline='', encoding='utf-8'
68120发布于 2019-12-24 - 来自专栏小明的博客
房天下二手房交易数据爬取
本次是爬取西安房天下上的二手房交易数据，主要面临的困难有： 网页的重定向问题的识别 不完全规则网页的匹配规则书写问题 爬虫效率问题 滑块验证问题 import requests from scrapy.selector /div[@class="trl-item1 w182"]/div[@class="font14"]/text()').extract_first() # 装修 x8 = /h4/text()').extract_first() datas.append([x1, x2, x3, x4, x5, x6, x7, x27, x8, x9, x10, x11, url并非链接地址栏显示的url，据我观察链接地址栏的url会在一段时间后失效，具体的机理分析仍有待进一步的深入学习 终稿 经过一番重塑修改，对代码的逻辑进行进一步优化，最后写出了最终版本的房天下二手房交易数据爬取 div[@class="tt"]/text()').extract()[2] data = [x1, x2, x3, x4, x5, x6, x7, x8,
1.1K10编辑于 2022-09-06 - 来自专栏机器学习AI算法工程
Python抓取上海各地区房价平均值
程序代码如下： 源代码托管在：https://github.com/chroming/sh_house_price/ # -*- coding:utf-8 -*-import requestsimport '6':'http://wap.ganji.com/sh/fang5/jingan/o', '7':'http://wap.ganji.com/sh/fang5/luwan/o', '8' '1':'浦东新区', '2':'闵行区', '3':'徐汇区', '4':'长宁区', '5':'普陀区', '6':'静安区', '7':'卢湾区', '8' url = num_area[numb]+str(n) urlpage = requests.get(url) urlpage.encoding = 'utf-8' 可一次输入多个代码：")) if str(0) in areanum:#输入有0则计算全部区域 for numbe in ('1','2','3','4','5','6','7','8'
1.1K50发布于 2018-03-13 - 来自专栏网络爬虫
各地二手房指导价之后的市场情况
今年房价热点地区，陆续推出二手房交易指导价格机制，使得二手房成交量下降，交易周期变长。同时部分地区限购，导致二手房市场客户较难向一手房市场转化。 银行部分由于贷款额度限制，优先保障新房，相应二手房住房按揭贷款使用额度不断减少，贷款周期变长，甚至部分地区银行已经暂缓二手房贷款。 已经实施二手房交易实施指导价的城市有深圳、成都、西安、上海。 深圳和成都的二手房指导价力度相对较大，因此最最近几个月的二手房交易量和面积、单价都下降明显。其中6月深圳二手房过户2575套，同比下跌75%，成都6月的二手房过户低于4000套，连续三个月大幅下降。 目前看二手房指导价的政策，对二手市场的影响还是很大的，具体可以通过爬虫程序采集房产信息数据，动态了解市场行情： package main import (
48310发布于 2021-07-13 - 来自专栏猪圈子
如何用Python爬取分析北京二手房数据？
背锅侠 一个有个性的订阅号 ---- 近期，有个朋友联系我，想统计一下北京二手房的相关的数据，而自己用Excel统计工作量太过于繁杂，问我用Python该如何实现。 构造要访问的URL 这里，我试着抓取北京海淀区二手房的相关数据。首先，是观察一下URL的结构，如下： ? 通过构建这100个URL，可以抓取海淀正在出售的二手房的相关的信息。 观察这个页面，可以发现每页有30个房子的信息，因为房子的详细信息肯定存储在子链接中。但是如何获取这些房子的链接呢？ 南 北平层/简装 81241元/平米 7 68.39平米1999年建/塔楼 今典花园 698万 2室1厅低楼层/共26层 南简装 102062元/平米 8
1.2K10发布于 2019-07-24 - 来自专栏迪迪的Python专栏
用Python分析广州房地产市场
[c35e8ba544795b4ba00a8f180c6bd8b9.png] 房地产市场分析框架接下来，我将结合Python，以广州为例，尝试着分析广州的土地市场和房产市场，城市经济和相关政策的分析将留在以后的文章中叙述 response.status_code) if response.status_code == 200: re = response.content.decode('utf-8' 以下为简单清洗后部分数据： [c015ddd2bc180ee9c20f7423d4229ca6.png] 分析土地数据 土地成交状态 近10年广州土地招拍挂成交情况 [8bdc351608f36d1491142981ffb29cb4 headers) if response.status_code == 200: re = response.content.decode('utf-8' 从房产市场来看，广州二手房自2019年来价格变动幅度不大，维持30000元/㎡左右。疫情下二手房交易受挫，部分房企尝试以价换量争取更大去化量。疫情逐渐得到控制后，二手房交易明显恢复。
76460编辑于 2022-01-10 - 来自专栏Python数据科学
数据分析实战—北京二手房房价分析
# 对二手房区域分组对比二手房数量和每平米房价 df_house_count = df.groupby('Region')['Price'].count().sort_values(ascending= 可以观察到： 二手房均价：西城区的房价最贵均价大约11万/平，因为西城在二环以里，且是热门学区房的聚集地。其次是东城大约10万/平，然后是海淀大约8.5万/平，其它均低于8万/平。 二手房房数量：从数量统计上来看，目前二手房市场上比较火热的区域。海淀区和朝阳区二手房数量最多，差不多都接近3000套，毕竟大区，需求量也大。然后是丰台区，近几年正在改造建设，有赶超之势。 在Renovation和Elevator的分类条件下，使用 FaceGrid 分析 Year 特征，观察结果如下： 整个二手房房价趋势是随着时间增长而增长的； 2000年以后建造的二手房房价相较于2000 年以前有很明显的价格上涨； 1980年之前几乎不存在有电梯二手房数据，说明1980年之前还没有大面积安装电梯； 1980年之前无电梯二手房中，简装二手房占绝大多数，精装反而很少； Floor 特征分析
2.2K30发布于 2018-08-06 - 来自专栏挖数
房价断崖下跌，这座城市怎么了？
但这一年国家出台了二手房指导价政策，2021年2月8日，深圳在国内率先建立二手住房参考价格发布机制，并发布全市3595个小区的指导价，不少业主发现政府发布的自家房子的指导价，居然只有自己挂牌价的一半，甚至远远低于自己买进的价格 政策发布后的次月，深圳二手房成交数量同比上个月接近腰斩。 31.48平的楼梯房，2020年12月的成交价是348万，2022年10月同户型成交价降到200万，降幅 -42.5% 跟业主沟通发现，频繁降价成为普遍现象，还是八卦岭一带，一套37.48平的电梯房，22年8月以 8个月都没有房源成交，直到21年下半年，有业主急用钱，单价从12万降到10万，才终于成交一套60平左右的住宅。 从此潘多拉魔盒打开，陆续有业主低价抛售，近期促成的2套45平的户型，均价在8万多，2年时间房价下跌 37.4% 城市主场小区 挖数前段时间帮朋友卖房，确实发现房子很不好卖。
74230编辑于 2023-01-09 - 来自专栏凹凸玩数据
用Python分析广州房地产市场
response.status_code) if response.status_code == 200: re = response.content.decode('utf-8' 广州房产市场分析 房产市场分析主要包括新房和二手房交易市场，由于一般的房产信息发布平台二手房数量远大于新房，因此，本文以广州二手房成交数据进行房产市场分析。 headers) if response.status_code == 200: re = response.content.decode('utf-8' 从广州近几年二手房的量价走势来看，自2015年以来房价一直在上涨，2018年二手房均价达到35000元/㎡。2019年房价有所回落，但成交二手房数量达到近几年峰值，全年成交8940套。 ? 从房产市场来看，广州二手房自2019年来价格变动幅度不大，维持30000元/㎡左右。疫情下二手房交易受挫，部分房企尝试以价换量争取更大去化量，加之疫情逐渐得到控制，二手房交易逐渐恢复。
1.7K10发布于 2020-09-07 - 来自专栏python全栈教程专栏
全国任意城市二手房价爬取（附源码）+分析教程
q=%E4%B8%8A%E6%B5%B7' page_text = requests.get(url=url,headers=headers).text tree = etree.HTML /上海二手房.txt','w',encoding='utf-8') for div in div_list: title = div.xpath('. 不是的，请看如下分析： 上面这部分代码是爬取的上海的二手房价 然而网址却是这样的： 这样很容易想到，如果切换城市，仅仅只需要把上海换成别的城市就可以了。 /上海二手房.txt','w',encoding='utf-8') for div in div_list: title = div.xpath('. 爬完二手房价，我都感觉要哭穷了，这房也太贵了吧！！酸了啊！ （顺便打上自己的小小群：970353786，任何代码资料均个人创造与分享）
1.1K10发布于 2021-10-18 - 来自专栏吉吉的机器学习乐园
Python二手房价格预测（二）——数据处理及数据可视化
2984 non-null object 6 所在楼层 2984 non-null object 7 建筑面积 2984 non-null object 8 36 1998 32 1995 28 1990 27 2002 26 2001 16 1996 16 1997 16 1988 8 1992 8 1987 6 1978 6 1980 6 1989 5 1994 4 1970 3 1985 2 1986 ratioTH(df, flag): CN_NUM = {'十': 10, '一': 1, '二': 2, '三': 3, '四': 4, '五': 5, '六': 6, '七': 7, '八': 8, 2984 non-null object 6 所在楼层 2984 non-null object 7 建筑面积 2984 non-null float64 8
2.2K20编辑于 2022-07-13 - 来自专栏商业智能方案
Python采集3000条北京二手房数据，看我都分析出了啥？
最近呢，对链家平台上的北京二手房数据做了个可视化分析，对目前北京的二手房交易情况有了个大致了解，最终得到一个很实在的结论：奋斗一辈子也买不到一个厕所这句话不是骗人的，是真的；关于具体分析内容请看下文 1 、工具说明 本文用到的 Python 库有 外加百度地图 API 2、数据采集 所有数据来源于链家二手房交易平台，上面每页排列 30 条二手房数据，本文采集了前 100 页 数据，每条二手房交易数据中提取 房价我分为 5 个区间，分别为 0-3万、3-8万、8-12万、12-15万，15万+ 五段，看一下各自的占比分布 其中房价位于 3-8万 占比最大达 76 %占比，次之就是8-12万、12-15万， 依次占比为16.38%、3.46%，而房价位于 15 万 + 占比最少，仅有1.12% 左右； 接下来我们再看一下，不同价位二手房在北京的分布 15万+的 12-15万 8-12万 3-8万 从地段分布来看北京房价以8万作为分水岭，8万+和8万以内房产分布明显变化，价格越高，越靠市中心以外；从地图信息来看，想在北京买一套地段不错的房子，预期房价最低也要在8万+，8 万是什么概念，也就说如果你想在北京买一套
1.1K01发布于 2021-03-04 链家二手房数据爬取、聚类分析与可视化展示实践
1.2 开发环境配置二、链家二手房数据爬取实现本次爬取目标为链家北京二手房列表页数据（可根据需求替换城市域名），爬取字段包括房源标题、户型、建筑面积、朝向、装修情况、挂牌价格、单价、所属区域，共 8 个核心字段 .csv") # 保存清洗后的数据 df_clean.to_csv("链家二手房清洗后数据.csv", index=False, encoding="utf-8-sig")预处理完成后，将得到标准化的特征矩阵 .csv", index=False, encoding="utf-8-sig")print("聚类分析完成，带标签数据已保存为链家二手房聚类后数据.csv")4.3 聚类结果解读以本次爬取的北京前 5 10, 15], labels=["0-4万", "4-6万", "6-8万", "8-10万", "10万+"])heat_data = df.groupby(["面积区间", "单价区间"]).size 六、项目总结与拓展方向本次实践完成了链家二手房数据从爬取、预处理到聚类分析、可视化展示的全流程实现，通过 Python 生态工具构建了一套完整的房产数据分析方案，最终成功将北京二手房房源分为刚需型、改善型
37510编辑于 2026-01-26基于Python的南京二手房数据可视化分析
图2下面红色方框显示了二手房主页上房源的页数。链家网二手房主页截图上半部分：图1 链家网二手房主页链家网二手房主页截图下半部分：图2 链家网二手房主页二手房房源信息页面如图3、图4。 3.2.1 原始数据主要需要清洗的部分主要需要清洗的数据部分如下：1）将杂乱的记录的数据项对齐2）清洗一些数据项格式3）缺失值处理3.2.3 数据清洗结果数据清洗前原始数据如图8，清洗后的数据如图9，可以看出清洗后数据已经规整了许多 图8 清洗前原始数据截图图9 清洗后的数据截图4 数据可视化分析在数据清洗完成后，我们就可以开始对数据进行可视化分析。 4.3 南京二手房基本信息可视化分析二手房基本信息可视化分析主要针对二手房：区域、总价、单价、建筑面积四个属性的分析。 图20 南京二手房单价热力图图21 南京二手房总价热力图4.3.5 南京二手房总价小于200万的分布图南京二手房总价小于200万的房源一共有6000多套，分布图见图23。
44010编辑于 2025-06-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号