- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据挖掘
链家二手房楼盘爬虫
前言 想看下最近房价是否能入手，抓取链家 二手房 、 新房 的信息，发现广州有些精装修 88平米 的 3房2厅 首付只要 29 万！平均 1.1万/平： ? 新房': '/bj/loupan/fang/', '找小区': '/bj/xiaoqu/', '查成交': '/bj/chengjiao/', '租房': '/chuzu/bj/zufang/', '二手房 cs/', '临高': '/lg/', '石家庄': '/sjz/', '许昌': '/xc/', '镇江': '/zj/', '乐山': '/leshan/', '贵阳': '/gy/'} 模拟请求二手房 点击二手房链接进入二手房列表页面，发现列表页面的 url 是 https://m.lianjia.com/bj/ershoufang/index/ ，把网页往下拉进行翻页，发现下一页的 url 构造为 获取信息的部分代码为： # 获取二手房的详细信息 def getInfoErshoufang(html): detailArr = [] soup = BeautifulSoup(html
1.8K30发布于 2019-07-01 - 来自专栏谭小谭
python采集链家二手房信息
说到爬虫，前面也有说过，无非就三个主要的步骤 1、获取目标网页或接口 2、从目标网页或接口中解析并提炼出你要的数据字段 3、数据保存 我们今天就以链家平台上北京地区二手房为例，首先是打开目标网页。
1.2K30发布于 2019-06-03 - 来自专栏吉吉的机器学习乐园
Python二手房价格预测（一）——数据获取
01 前言 ---- 二手房价格预测问题一直作为基础的数据分析入门课题，有许多开源的房价预测数据集。这些数据虽为经典，但时效上有所不足。 因此我将在此记录Python从0到1的二手房房价预测过程，从数据获取开始。 02 获取单个二手房售卖链接 ---- 以链家网为例 我们需要获取对应城市的二手房售卖链接，图中红色框起来的就是一条链接。 houseIdSet.add(a.get("href")) # print(a.get("href")) return list(houseIdSet) 02 获取单个二手房售卖链接 ---- 进入到单个的二手房售卖页面，以下几张图中，红色框起来的部分是我们要获取的内容。 03 获取该城市所有的数据 ---- 我们将某城市二手房页面拉到最底，似乎只能显示100页，每页有30条二手房售卖链接。
1.3K10编辑于 2022-07-13 - 来自专栏XINDOO的专栏
python爬虫爬取链家二手房信息
我用scrapy实现了一个爬取链家二手房的爬虫，全部源码我已经放到github上了https://github.com/xindoo/ershoufang。 问题二 我代码里只爬取了3000套二手房价格，北京市实际在售的二手房大概有两万套，不是我不想全爬，只是链家只展示100页（3000套）的内容，排序方式我也并不清楚。 http://bj.lianjia.com/ershoufang/pg1/，一直爬取到100页， 我在代码里注释掉的 start_urls包含了北京市所有的区，如果不被ban，理论上是可以拿到北京市所有的二手房信息的
1.6K10发布于 2021-01-22 - 来自专栏python学习教程
Python爬虫 爬取北京二手房数据
房价高是北漂们一直关心的话题，本文就对北京的二手房数据进行了分析。 本文主要分为两部分：Python爬取赶集网北京二手房数据，R对爬取的二手房房价做线性回归分析，适合刚刚接触Python&R的同学们学习参考。 Python爬取赶集网北京二手房数据 入门爬虫一个月，所以对每一个网站都使用了Xpath、Beautiful Soup、正则三种方法分别爬取，用于练习巩固。数据来源如下： ? text, 'Price':div.find('div',class_=re.compile('time')).text } #有一些二手房信息缺少部分信息 R对爬取的二手房房价做一般线性回归分析 下面我们用R对抓取的赶集网北京二手房数据做一些简单的分析。
1.2K50发布于 2019-07-10 - 来自专栏凹凸玩数据
二手房价格及信息爬取
爬取准备 某家网站里有新房、二手房、租房等待。如果买房，尤其是在北京的首套，可能二手房是选择之一，那我就针对二手房研究一下。 上图是某家二手房展示页面其中一套房的信息，我需要提取它的：位置、几室几厅、平米数、朝向、装修风格、层数、建造年份、建筑形式、售价。 import re import csv import requests import pandas as pd from random import choice import time 因为链家二手房一共 , '地区', '厅','平米数','方向','状态','层','build-year','形式','钱','单位','网址','推荐语'] # 如果文件由第一行,就不用了 with open('链家二手房
68120发布于 2019-12-24 - 来自专栏小明的博客
房天下二手房交易数据爬取
本次是爬取西安房天下上的二手房交易数据，主要面临的困难有： 网页的重定向问题的识别 不完全规则网页的匹配规则书写问题 爬虫效率问题 滑块验证问题 import requests from scrapy.selector =data).xpath( '//div[@class="rcont"]/span/text()').extract_first() # 区 x11 /h4/text()').extract_first() datas.append([x1, x2, x3, x4, x5, x6, x7, x27, x8, x9, x10, x11, url并非链接地址栏显示的url，据我观察链接地址栏的url会在一段时间后失效，具体的机理分析仍有待进一步的深入学习 终稿 经过一番重塑修改，对代码的逻辑进行进一步优化，最后写出了最终版本的房天下二手房交易数据爬取 tt"]/text()').extract()[2] data = [x1, x2, x3, x4, x5, x6, x7, x8, x9, x10, x11
1.1K10编辑于 2022-09-06 - 来自专栏挖数
房价断崖下跌，这座城市怎么了？
这两天看到一个触目惊心的数据，来源是深圳市住房和建设局，可以查看深圳市历年二手房成交套数。 以10月为例，正常年份，比如2019年10月，深圳市二手房成交总套数是 7905 套。 到2020年10月，二手房成交总套数降到 5579 套，同比 -29.4%，这一年发生了疫情。 政策发布后的次月，深圳二手房成交数量同比上个月接近腰斩。 到了最近的2022年10月，深圳二手房成交套数创下新低，只有 1754 套，同比 -11% 有种跌入无底洞的感觉，不知何时是头，拿22年10月同比19年10月，这个跌幅是 -77.8% 如果用成交额的数据去同比 348万，2022年10月同户型成交价降到200万，降幅 -42.5% 跟业主沟通发现，频繁降价成为普遍现象，还是八卦岭一带，一套37.48平的电梯房，22年8月以320万挂牌，10月降至300万，到11
74230编辑于 2023-01-09 - 来自专栏网络爬虫
各地二手房指导价之后的市场情况
今年房价热点地区，陆续推出二手房交易指导价格机制，使得二手房成交量下降，交易周期变长。同时部分地区限购，导致二手房市场客户较难向一手房市场转化。 银行部分由于贷款额度限制，优先保障新房，相应二手房住房按揭贷款使用额度不断减少，贷款周期变长，甚至部分地区银行已经暂缓二手房贷款。 已经实施二手房交易实施指导价的城市有深圳、成都、西安、上海。 深圳和成都的二手房指导价力度相对较大，因此最最近几个月的二手房交易量和面积、单价都下降明显。其中6月深圳二手房过户2575套，同比下跌75%，成都6月的二手房过户低于4000套，连续三个月大幅下降。 目前看二手房指导价的政策，对二手市场的影响还是很大的，具体可以通过爬虫程序采集房产信息数据，动态了解市场行情： package main import (
48310发布于 2021-07-13 - 来自专栏猪圈子
如何用Python爬取分析北京二手房数据？
背锅侠 一个有个性的订阅号 ---- 近期，有个朋友联系我，想统计一下北京二手房的相关的数据，而自己用Excel统计工作量太过于繁杂，问我用Python该如何实现。 构造要访问的URL 这里，我试着抓取北京海淀区二手房的相关数据。首先，是观察一下URL的结构，如下： ? 通过构建这100个URL，可以抓取海淀正在出售的二手房的相关的信息。 观察这个页面，可以发现每页有30个房子的信息，因为房子的详细信息肯定存储在子链接中。但是如何获取这些房子的链接呢？ 柳林馆 865万 3室1厅中楼层/共6层 南 北简装 103842元/平米 9 114.94平米2002年建/板楼 当代城市家园 830万 2室2厅中楼层/共11 南 北精装 72212元/平米 10 71.6平米1991年建/塔楼 西翠路12号院 710万 3室1厅中楼层/共18层 东北简装 99162元/平米 11
1.2K10发布于 2019-07-24 - 来自专栏Python数据科学
数据分析实战—北京二手房房价分析
初步观察到一共有11个特征变量，Price 在这里是我们的目标变量，然后我们继续深入观察一下。 # 检查缺失值情况 lianjia_df.info() ? # 对二手房区域分组对比二手房数量和每平米房价 df_house_count = df.groupby('Region')['Price'].count().sort_values(ascending= 可以观察到： 二手房均价：西城区的房价最贵均价大约11万/平，因为西城在二环以里，且是热门学区房的聚集地。其次是东城大约10万/平，然后是海淀大约8.5万/平，其它均低于8万/平。 二手房房数量：从数量统计上来看，目前二手房市场上比较火热的区域。海淀区和朝阳区二手房数量最多，差不多都接近3000套，毕竟大区，需求量也大。然后是丰台区，近几年正在改造建设，有赶超之势。 年以前有很明显的价格上涨； 1980年之前几乎不存在有电梯二手房数据，说明1980年之前还没有大面积安装电梯； 1980年之前无电梯二手房中，简装二手房占绝大多数，精装反而很少； Floor 特征分析
2.2K30发布于 2018-08-06 - 来自专栏迪迪的Python专栏
用Python分析广州房地产市场
2019年11月和12月分别成交宗地21块和38块。 广州房产市场分析 -------- 房产市场分析主要包括新房和二手房交易市场，由于一般的房产信息发布平台二手房数量远大于新房，为尽可能获取更大样本数据，提高分析的准确性，本文以广州二手房成交数据进行房产市场分析 ] 从广州近几年二手房的量价走势来看，自2015年以来房价一直在上涨，2018年二手房均价达到35000元/㎡。 从成交量来看，2月份受疫情影响仅成交70套二手房，3月份以来，疫情逐渐得到控制，房产市场向好，6月份成交二手房1337套。 从房产市场来看，广州二手房自2019年来价格变动幅度不大，维持30000元/㎡左右。疫情下二手房交易受挫，部分房企尝试以价换量争取更大去化量。疫情逐渐得到控制后，二手房交易明显恢复。
76460编辑于 2022-01-10 - 来自专栏吉吉的机器学习乐园
Python二手房价格预测（二）——数据处理及数据可视化
01 前言 ---- 在前面分享了二手房的数据获取，可以看上一篇文章，也可以扫描二维码查看CSDN博客。 今天给大家分享一下二手房数据的数据处理与数据可视化。 2967 non-null object 9 套内面积 2984 non-null object 10 建筑类型 2967 non-null object 11 2967 non-null object 9 套内面积 2984 non-null float64 10 建筑类型 2967 non-null object 11 , rotation = 'horizontal', verticalalignment = 'center', horizontalalignment = 'right') plt.show() 11 下一部分将出一篇建模，采用常用的机器学习模型进行二手房价格预测baseline部分。 · END · 毕业答辩完的吉吉
2.2K20编辑于 2022-07-13 - 来自专栏凹凸玩数据
用Python分析广州房地产市场
19年11月和12月分别成交宗地21和38块。 土地成交结构 ? 近十年来广州成交土地主要以工业用地、其他用地和住宅用地为主，工业用地占比高达41.19%，这也在侧面反映出广州工业企业发达的原因。 广州房产市场分析 房产市场分析主要包括新房和二手房交易市场，由于一般的房产信息发布平台二手房数量远大于新房，因此，本文以广州二手房成交数据进行房产市场分析。 获取二手房数据 为了获取更全面且真实的数据，本文通过Python获取到房天下最新公布的广州二手房成交数据。 ? 从广州近几年二手房的量价走势来看，自2015年以来房价一直在上涨，2018年二手房均价达到35000元/㎡。2019年房价有所回落，但成交二手房数量达到近几年峰值，全年成交8940套。 ? 从房产市场来看，广州二手房自2019年来价格变动幅度不大，维持30000元/㎡左右。疫情下二手房交易受挫，部分房企尝试以价换量争取更大去化量，加之疫情逐渐得到控制，二手房交易逐渐恢复。
1.7K10发布于 2020-09-07 基于Python的南京二手房数据可视化分析
图2下面红色方框显示了二手房主页上房源的页数。链家网二手房主页截图上半部分：图1 链家网二手房主页链家网二手房主页截图下半部分：图2 链家网二手房主页二手房房源信息页面如图3、图4。 图10 数据基本情况图4.2.2 整体数据文件词云从整体数据文件词云（见图11），我们可以得到在南京二手房房源信息中经常出现的高频词，如二手电梯房、普通住宅、一梯两户、钢混结构、精装等。 图11 整体数据文件词云4.2.3 南京各区域二手房房源数量折线图南京各区域二手房房源数量折线图（见图13）横轴为南京各个行政区域名称，纵轴为房源数量（套）。 4.3 南京二手房基本信息可视化分析二手房基本信息可视化分析主要针对二手房：区域、总价、单价、建筑面积四个属性的分析。 图20 南京二手房单价热力图图21 南京二手房总价热力图4.3.5 南京二手房总价小于200万的分布图南京二手房总价小于200万的房源一共有6000多套，分布图见图23。
44010编辑于 2025-06-01- 来自专栏数据技术
如何快速获取并分析自己所在城市的房价行情？
以笔者目前身在的广州为例，由于一线城市住宅供地需求紧张，每年放出的新盘不多，因此二手房的价格才能更准确、真实地反映当地房价行情，那我们就可以用 Python 爬取互联网上的广州二手房信息来进行分析。 这里以 50 为组距，将房源面积分为 11 组，并统计这 11 组中房源的数量。 绘制房源面积分布图 plt.rc('font', family='STXihei', size=15) ygroup = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 ]) plt.barh([1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11], group_mianji, color='#205bc3', alpha=0.8, align='center 另外，广州二手房市场的中等水平比其他一线城市要低。综上所述，总价且面积在中等水平的广州二手房源能吸引更多的用户关注。 5.
2.6K51编辑于 2022-01-06 - 来自专栏机器学习AI算法工程
链家网和贝壳网新房、二手房、租房数据爬虫，稳定可靠快速！
爬取链家网、贝壳网的各类房价数据（小区数据，挂牌二手房, 出租房，新房）。 数据含义：城市-city, 区县-district, 板块-area, 小区-xiaoqu, 二手房-ershou, 租房-zufang， 新房-loupan。 python tool/clean.py 小区房价数据爬取 内容格式：采集日期,所属区县,板块名,小区名,挂牌均价,挂牌数 内容如下：20180221,浦东,川沙,恒纬家苑,32176元/m2,3套在售二手房 ), "city" : "上海", "district" : "黄浦", "area" : "五里桥", "date" : "20180331", "price" : 81805, "sale" : 11 挂牌二手房数据爬取 获取链家网挂牌二手房价数据，数据格式如下： 20180405,浦东,万祥镇,祥安菊苑 3室2厅 258万,258万,祥安菊苑 | 3室2厅 | 126.58平米 | 南 | 毛坯
4.2K20发布于 2019-10-28 - 来自专栏IT笔记
我爬了链家青岛市北3000套二手房得出一个结论
` int(11) NOT NULL COMMENT '二手房地址', `housing_estate` varchar(20) NOT NULL COMMENT '小区', `position int(11) NOT NULL COMMENT '关注量', `take_look` int(11) NOT NULL COMMENT '带看量', `pub_date` timestamp 总体概况 总数 均价 均关注 均带看 2994 27721 17 1 我们先来看一下链家提供的青岛市北的二手房价格（成交价）走势： ? 目前二手房市场交易冷冷清清，部分二手房房主无意出售或者不急于出售，挂牌一两年仍未成交，这里后面会有数据说明。 只有少部分房主出于房产置换或套现等需求，着急出售，因而愿意大幅降价。 ? 从以上两张图可以很直观地看出二手房集中在几个区域——海云庵、台东、新都心。为何这些区域存在如此多的待售二手房呢？
89140发布于 2018-12-19 - 来自专栏IT笔记
我用Python爬取了李沧最近一年多的二手房成交数据得出以下结论
NULL COMMENT '挂牌价格', `completion_date` date NOT NULL COMMENT '成交日期', `transaction_cycle` int(11 ) NOT NULL COMMENT '成交周期', `modify_price` int(11) NOT NULL COMMENT '调价次数', `square_metre` double double NOT NULL COMMENT '单价', `total_price` double NOT NULL COMMENT '总价', `age_completion` int(11 分析数据 直奔主题，数据分析下，大家比较关心的价格问题，以下是2019年1月-3月的二手房成交量以及成交价格： 位置 成交量 单价 李沧 124 21100 同比去年的二手房成交量以及成交价格： 位置 好了，再看一下大家比较关心的成交周期，2019年1月-3月的二手房成交量以及成交周期： 位置 成交量 成交周期(天) 李沧 124 96 同比去年的二手房成交量以及成交周期： 位置 成交量 成交周期(
46610发布于 2019-12-09 基于Python的二手房价格分析与多种机器学习房价预测
随着新建房价的不断上涨，城市内建筑新房的用地也越来越少，加上对房屋刚性的需求，人民群众对二手房的需求增加，二手房交易市场不断扩大。 二手房市场发展至今，其成交量逐年增多，尤其在一些一线城市，二手房成交量远超新房。由此可见未来二手房市场会吸引到更多的消费和投资。 二手房市场与商品房市场息息相关，商品房市场的停滞，导致重庆市二手房存量过多，房源存量持续上升。2018年起，重庆市二手房销售价格开始出现下跌，直到2019年才基本止跌。 '].split("梯")7 T = strList[0]8 H = strList[1]9 numTList = list(T)10 numHList = list(H) 11 （2）二手房面积分布分析二手房价格预测是面对消费者，或以各种不同的二手房交易平台为基础，对其评估，以此提高消费者对二手市场了解。
74110编辑于 2025-06-12
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号