- 综合排序
- 最热优先
- 最新优先
- 来自专栏数据挖掘
链家二手房楼盘爬虫
前言 想看下最近房价是否能入手，抓取链家 二手房 、 新房 的信息，发现广州有些精装修 88平米 的 3房2厅 首付只要 29 万！平均 1.1万/平： ? 新房': '/bj/loupan/fang/', '找小区': '/bj/xiaoqu/', '查成交': '/bj/chengjiao/', '租房': '/chuzu/bj/zufang/', '二手房 cs/', '临高': '/lg/', '石家庄': '/sjz/', '许昌': '/xc/', '镇江': '/zj/', '乐山': '/leshan/', '贵阳': '/gy/'} 模拟请求二手房 点击二手房链接进入二手房列表页面，发现列表页面的 url 是 https://m.lianjia.com/bj/ershoufang/index/ ，把网页往下拉进行翻页，发现下一页的 url 构造为 获取信息的部分代码为： # 获取二手房的详细信息 def getInfoErshoufang(html): detailArr = [] soup = BeautifulSoup(html
1.8K30发布于 2019-07-01 - 来自专栏谭小谭
python采集链家二手房信息
说到爬虫，前面也有说过，无非就三个主要的步骤 1、获取目标网页或接口 2、从目标网页或接口中解析并提炼出你要的数据字段 3、数据保存 我们今天就以链家平台上北京地区二手房为例，首先是打开目标网页。
1.2K30发布于 2019-06-03 - 来自专栏吉吉的机器学习乐园
Python二手房价格预测（一）——数据获取
01 前言 ---- 二手房价格预测问题一直作为基础的数据分析入门课题，有许多开源的房价预测数据集。这些数据虽为经典，但时效上有所不足。 因此我将在此记录Python从0到1的二手房房价预测过程，从数据获取开始。 02 获取单个二手房售卖链接 ---- 以链家网为例 我们需要获取对应城市的二手房售卖链接，图中红色框起来的就是一条链接。 houseIdSet.add(a.get("href")) # print(a.get("href")) return list(houseIdSet) 02 获取单个二手房售卖链接 ---- 进入到单个的二手房售卖页面，以下几张图中，红色框起来的部分是我们要获取的内容。 03 获取该城市所有的数据 ---- 我们将某城市二手房页面拉到最底，似乎只能显示100页，每页有30条二手房售卖链接。
1.3K10编辑于 2022-07-13 - 来自专栏XINDOO的专栏
python爬虫爬取链家二手房信息
我用scrapy实现了一个爬取链家二手房的爬虫，全部源码我已经放到github上了https://github.com/xindoo/ershoufang。 问题二 我代码里只爬取了3000套二手房价格，北京市实际在售的二手房大概有两万套，不是我不想全爬，只是链家只展示100页（3000套）的内容，排序方式我也并不清楚。 http://bj.lianjia.com/ershoufang/pg1/，一直爬取到100页， 我在代码里注释掉的 start_urls包含了北京市所有的区，如果不被ban，理论上是可以拿到北京市所有的二手房信息的
1.6K10发布于 2021-01-22 - 来自专栏python学习教程
Python爬虫 爬取北京二手房数据
房价高是北漂们一直关心的话题，本文就对北京的二手房数据进行了分析。 本文主要分为两部分：Python爬取赶集网北京二手房数据，R对爬取的二手房房价做线性回归分析，适合刚刚接触Python&R的同学们学习参考。 Python爬取赶集网北京二手房数据 入门爬虫一个月，所以对每一个网站都使用了Xpath、Beautiful Soup、正则三种方法分别爬取，用于练习巩固。数据来源如下： ? text, 'Price':div.find('div',class_=re.compile('time')).text } #有一些二手房信息缺少部分信息 R对爬取的二手房房价做一般线性回归分析 下面我们用R对抓取的赶集网北京二手房数据做一些简单的分析。
1.2K50发布于 2019-07-10 - 来自专栏小明的博客
房天下二手房交易数据爬取
本次是爬取西安房天下上的二手房交易数据，主要面临的困难有： 网页的重定向问题的识别 不完全规则网页的匹配规则书写问题 爬虫效率问题 滑块验证问题 import requests from scrapy.selector url并非链接地址栏显示的url，据我观察链接地址栏的url会在一段时间后失效，具体的机理分析仍有待进一步的深入学习 终稿 经过一番重塑修改，对代码的逻辑进行进一步优化，最后写出了最终版本的房天下二手房交易数据爬取
1.1K10编辑于 2022-09-06 - 来自专栏凹凸玩数据
二手房价格及信息爬取
爬取准备 某家网站里有新房、二手房、租房等待。如果买房，尤其是在北京的首套，可能二手房是选择之一，那我就针对二手房研究一下。 上图是某家二手房展示页面其中一套房的信息，我需要提取它的：位置、几室几厅、平米数、朝向、装修风格、层数、建造年份、建筑形式、售价。 import re import csv import requests import pandas as pd from random import choice import time 因为链家二手房一共 , '地区', '厅','平米数','方向','状态','层','build-year','形式','钱','单位','网址','推荐语'] # 如果文件由第一行,就不用了 with open('链家二手房
68020发布于 2019-12-24 - 来自专栏猪圈子
如何用Python爬取分析北京二手房数据？
背锅侠 一个有个性的订阅号 ---- 近期，有个朋友联系我，想统计一下北京二手房的相关的数据，而自己用Excel统计工作量太过于繁杂，问我用Python该如何实现。 构造要访问的URL 这里，我试着抓取北京海淀区二手房的相关数据。首先，是观察一下URL的结构，如下： ? 通过构建这100个URL，可以抓取海淀正在出售的二手房的相关的信息。 观察这个页面，可以发现每页有30个房子的信息，因为房子的详细信息肯定存储在子链接中。但是如何获取这些房子的链接呢？
1.2K10发布于 2019-07-24 - 来自专栏网络爬虫
各地二手房指导价之后的市场情况
今年房价热点地区，陆续推出二手房交易指导价格机制，使得二手房成交量下降，交易周期变长。同时部分地区限购，导致二手房市场客户较难向一手房市场转化。 银行部分由于贷款额度限制，优先保障新房，相应二手房住房按揭贷款使用额度不断减少，贷款周期变长，甚至部分地区银行已经暂缓二手房贷款。 已经实施二手房交易实施指导价的城市有深圳、成都、西安、上海。 深圳和成都的二手房指导价力度相对较大，因此最最近几个月的二手房交易量和面积、单价都下降明显。其中6月深圳二手房过户2575套，同比下跌75%，成都6月的二手房过户低于4000套，连续三个月大幅下降。 目前看二手房指导价的政策，对二手市场的影响还是很大的，具体可以通过爬虫程序采集房产信息数据，动态了解市场行情： package main import (
47810发布于 2021-07-13 - 来自专栏Python数据科学
数据分析实战—北京二手房房价分析
北京二手房房价分析与预测 目的：本篇给大家介绍一个数据分析的初级项目，目的是通过项目了解如何使用Python进行简单的数据分析。 # 对二手房区域分组对比二手房数量和每平米房价 df_house_count = df.groupby('Region')['Price'].count().sort_values(ascending= 二手房房数量：从数量统计上来看，目前二手房市场上比较火热的区域。海淀区和朝阳区二手房数量最多，差不多都接近3000套，毕竟大区，需求量也大。然后是丰台区，近几年正在改造建设，有赶超之势。 在Renovation和Elevator的分类条件下，使用 FaceGrid 分析 Year 特征，观察结果如下： 整个二手房房价趋势是随着时间增长而增长的； 2000年以后建造的二手房房价相较于2000 年以前有很明显的价格上涨； 1980年之前几乎不存在有电梯二手房数据，说明1980年之前还没有大面积安装电梯； 1980年之前无电梯二手房中，简装二手房占绝大多数，精装反而很少； Floor 特征分析
2.2K30发布于 2018-08-06 - 来自专栏杨建荣的学习笔记
用Python对2019年二手房价格进行数据分析
本文为读者投稿，作者：董汇标MINUS 知乎：https://zhuanlan.zhihu.com/p/97243470 最近和朋友聊到买房问题，所以对某二手房价格信息进行了爬取，爬虫见本公众号另一篇文章 最贵和最便宜 从上面输出表格可以看到初步结论如下： 这些二手房最小面积9.6平米，最大718平米，最便宜的56万，最贵的5200万。 同样的思路看一下面积，可以看到这些二手房源面积主要集中在100平米左右 sns.distplot(data['面积'].dropna()) ?
1K20发布于 2020-02-19 基于Python的南京二手房数据可视化分析
图2下面红色方框显示了二手房主页上房源的页数。链家网二手房主页截图上半部分：图1 链家网二手房主页链家网二手房主页截图下半部分：图2 链家网二手房主页二手房房源信息页面如图3、图4。 图3 二手房房源信息页面图4 二手房房源信息页面3.1.3 网络爬虫程序关键问题说明1）问题1：链家网二手房主页最多只显示100页的房源数据，所以在收集二手房房源信息页面URL地址时会收集不全，导致最后只能采集到部分数据 4.3 南京二手房基本信息可视化分析二手房基本信息可视化分析主要针对二手房：区域、总价、单价、建筑面积四个属性的分析。 图19 南京二手房单价最高Top204.3.4 南京二手房单价和总价热力图南京二手房单价热力图（见图20）和南京二手房总价热力图（见图21）红色区域代表房源密集度高且房价高的区域。 图20 南京二手房单价热力图图21 南京二手房总价热力图4.3.5 南京二手房总价小于200万的分布图南京二手房总价小于200万的房源一共有6000多套，分布图见图23。
42010编辑于 2025-06-01- 来自专栏python全栈教程专栏
全国任意城市二手房价爬取（附源码）+分析教程
/上海二手房.txt','w',encoding='utf-8') for div in div_list: title = div.xpath('. 不是的，请看如下分析： 上面这部分代码是爬取的上海的二手房价 然而网址却是这样的： 这样很容易想到，如果切换城市，仅仅只需要把上海换成别的城市就可以了。 /上海二手房.txt','w',encoding='utf-8') for div in div_list: title = div.xpath('. page_text) div_list = tree.xpath('//section[@class="list"]/div') print(div_list) wen=c+'二手房价 爬完二手房价，我都感觉要哭穷了，这房也太贵了吧！！酸了啊！ （顺便打上自己的小小群：970353786，任何代码资料均个人创造与分享）
1.1K10发布于 2021-10-18 - 来自专栏Python数据科学
数据分析实战—北京二手房房价分析（建模篇）
阅读本文需要 10 分钟 上一篇和大家分享了一个入门数据分析的一个小项目 北京二手房房价分析，链接如下： 数据分析实战—北京二手房房价分析 文章在sf发布之后看到有不少感兴趣的朋友给我点了赞，感谢大家的支持了 结合两篇文章通过数据分析和挖掘的方法可以达到二手房屋价格预测的效果。 下面从特征工程开始讲述。 而对于像"11房间3卫"或者"5房间0卫"这些的Layout明显不是民住的二手房（不在我们的考虑范围之内），因此最后决定将所有"xx房间xx卫"格式的数据都移除掉，只保留"xx室xx厅"的数据。 数据建模预测 为了方便理解，博主在建模上做了一些精简，模型策略方法如下： 使用Cart决策树的回归模型对二手房房价进行分析预测 使用交叉验证方法充分利用数据集进行训练，避免数据划分不均匀的影响。 通过观察，最理想模型的参数"max_depth"是10，此种情况下达到了偏差与方差的最优平衡，最后模型在测试数据上的R2分数，也即二手房房价预测的准确率为：0.81。
2K20发布于 2018-08-06 - 来自专栏Python与Excel之交
手拐手带你分析深圳二手房市场情况！
今天的数据集来自于之前的爬虫项目：爬取城市二手房数据，今天的文章亦是对深圳存量二手房的一个分析实战。 文章会对深圳整体、各区域的二手房价格、二手房属性等多个维度进行探索，相信你会从中发现影响房屋价格的主要因素。 ，并以房屋总价作为数值标准绘制出二手房的分布图 可以很清楚的看到，二手房存量区域的主要集中区域 其中，800w+的存量二手房则多是集中在福田、南山、等关内区域 总结 目前深圳市各区域二手房存量分布差异较大 在二手房属性上，装修方式、结构、房屋用途等均会对总价产生影响，其中装修方式为简装和毛胚的二手房占整体存量的 30% 左右。 在二手房价格方面，需要注意个别极大值对整体数据的影响，避免数据被平均化。 市场相关 需要注意的是，本文的数据集是 2021年6月 采集的，而深圳在 2021年2月 的时候出台了二手房指导价政策，对于市场而言，新政策之后的二手房明显没有新房更香 在新政策出台之后，深圳二手房成交量接连下滑
69040发布于 2021-09-03 - 来自专栏Python分享
Python爬虫实战：爬取链家网二手房数据
相对于新房交易市场来说，如今的二手房交易市场一点也不逊色，很多二手房的信息刚刚挂出来，就被其他购房者拿下了。 ? 项目目标 爬取链家网二手房信息 受害者地址 https://cs.lianjia.com/ershoufang/pg%7B%7D/ ? dit['单价'] = unitPrice csv_writer.writerow(dit) print(dit) 保存数据 import csv f = open('二手房信息
3.3K40发布于 2020-09-24 - 来自专栏前端进阶学习交流
手把手教你抓取链家二手房首页的全部数据
一、前言 前几天在Python白银交流群大家在交流链家网二手房数据的抓取方法，如下图所示。 这里想要上图中红色圈圈里边的信息。 二、实现过程 这里群友【 】大佬给了一份代码，分享给大家。 #! 2]/span/text()').get() } if __name__ == '__main__': execute('scrapy crawl lj -o 长沙二手房 这篇文章主要分享了链家网二手房首页数据抓取，文中针对该问题给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。需要本文完整代码的小伙伴，可以私我获取。
76610编辑于 2022-08-17 - 来自专栏机器学习AI算法工程
Python抓取上海各地区房价平均值
当前抓取到的价格如下： 浦东新区共获取二手房数量：655，平均房价为：3.35万元每平方 闵行区共获取二手房数量：640，平均房价为：2.52万元每平方 徐汇区共获取二手房数量：640，平均房价为 ：3.95万元每平方 长宁区共获取二手房数量：643，平均房价为：3.57万元每平方 普陀区共获取二手房数量：647，平均房价为：2.91万元每平方 静安区共获取二手房数量：559，平均房价为：5.19 万元每平方 卢湾区共获取二手房数量：576，平均房价为：4.86万元每平方 黄浦区共获取二手房数量：638，平均房价为：4.42万元每平方 闸北区共获取二手房数量：640，平均房价为：3.23万元每平方 虹口区共获取二手房数量：641，平均房价为：3.15万元每平方 杨浦区共获取二手房数量：647，平均房价为：3.1万元每平方 宝山区共获取二手房数量：650，平均房价为：2.16万元每平方 嘉定区共获取二手房数量 ：644，平均房价为：1.47万元每平方 青浦区共获取二手房数量：641，平均房价为：1.51万元每平方 松江区共获取二手房数量：640，平均房价为：1.68万元每平方 金山区共获取二手房数量：638
1.1K50发布于 2018-03-13 - 来自专栏迪迪的Python专栏
用Python分析广州房地产市场
广州房产市场分析 -------- 房产市场分析主要包括新房和二手房交易市场，由于一般的房产信息发布平台二手房数量远大于新房，为尽可能获取更大样本数据，提高分析的准确性，本文以广州二手房成交数据进行房产市场分析 获取二手房数据 本文通过Python获取房天下公布的广州二手房成交数据。房天下的爬虫也较为简单，爬虫逻辑类似贝壳找房，唯一需要注意的是当遍历完一个子地区后跳转下一个子地区的处理。 ] 从广州近几年二手房的量价走势来看，自2015年以来房价一直在上涨，2018年二手房均价达到35000元/㎡。 从成交量来看，2月份受疫情影响仅成交70套二手房，3月份以来，疫情逐渐得到控制，房产市场向好，6月份成交二手房1337套。 从房产市场来看，广州二手房自2019年来价格变动幅度不大，维持30000元/㎡左右。疫情下二手房交易受挫，部分房企尝试以价换量争取更大去化量。疫情逐渐得到控制后，二手房交易明显恢复。
75960编辑于 2022-01-10 - 来自专栏bit哲学院
使用python进行北京二手房信息数据分析及可视化展示
参考链接： 使用Python Pandas进行数据分析和可视化 之前我们爬取了贝壳找房上的北京二手房信息，具体可以查看python爬取贝壳找房之北京二手房源信息，现在我们针对获取的数据进行分析及可视化的展示 ].value_counts().plot(kind='bar',color=['green','red','blue','grey','pink'],alpha=0.5) plt.title('北京二手房各区 ['单价'].sort_values(ascending=True).plot(kind='barh',color=['r','g','y','b'],alpha=0.5) plt.title('北京二手房各区 ：\n{}'.format(total_price_max)) print('二手房总价最低的房源信息为：\n{}'.format(total_price_max_room_info)) 结果如下： ，熟悉了数据分析的一些工具包的使用，同时也简单的了解了echart的使用，后面会根据数据的一些特征运用机器学习算法对二手房价格进行预测分析，后续还需要加深数据分析工具的使用。
1.6K20发布于 2020-12-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号