热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

程序员的选房神技,GitHub上的房源爬虫

买房,在中国是任何一个年轻人都绕不开都话题。特别是在当下限购摇号等多重政策打压的情况,要选到一个自己心仪的房子可谓难度不小。而且,伴随着房价上涨的还有房租。买不起房的,想要租个合

买房,在中国是任何一个年轻人都绕不开都话题。特别是在当下限购摇号等多重政策打压的情况,要选到一个自己心仪的房子可谓难度不小。

而且,伴随着房价上涨的还有房租。买不起房的,想要租个合适的小窝也不容易啊!

正在看房路上的我,只能用下图表达此时心情!

image

万万没想到的是,在选房这个难题上,程序员小哥哥却自有神技。利用爬虫技术轻松获取所有房源,搭配数据分析轻松就搞定了自己的小窝。

此时的你,是不是流下了“不懂技术”的眼泪。不哭不哭站起来撸,来看看 Github 上的房源爬虫,直接拿来就用岂不更妙!

1.自如实时房源提醒

房源监控脚本,自动检测符合条件的高性价比房源,1个小时更新一次。一旦出现符合条件的房源就打印出来。代码量不大,却十分好用。

项目地址:facert/ziroom_realtime_spider

image

2.链家二手房租房在线数据

一个链家网全国房源爬虫工具,轻松获取存量房交易数据以及现存房源。还搭配了数据分析的教程,提供可视化。

项目地址:XuefengHuang/lianjia-scrawler

数据分析教程:https://www.ershoufangdata.com/

image

3.贝壳网爬虫API:

直接通过pip install ke安装即可使用,一行代码将指定筛选条件的全量数据保存为JSON/csv。

项目地址:rangduju/Ke

使用命令:

from Ke.ke import Ke
%%time
df = Ke(username=\'17810375258\', password=\'abcd1234\').ke_scraper_rent(url=\'https://bj.zu.ke.com/zufang/sanlitun/l0\', keyword=\'北京三里屯\', export=\'csv\')
df

4.链家网和贝壳网房价爬虫

采集北京上海广州深圳等21个中国主要城市的房价数据(小区,二手房,出租房,新房),稳定可靠快速!支持csv,MySQL, MongoDB,Excel, json存储,并且同时支持Python2和3。具有图表展示数据功能,并且拥有详细注释,可进行功能扩展。

项目地址:jumper2014/lianjia-beike-spider

image

5.北京地区链家房屋成交

爬下了北京所有的小区信息及北京的所有历史成交记录,很简单的一个爬虫,可供北京地区的购房者进行价格比较。

项目地址:lanbing510/LianJiaSpider

image

6.号称宇宙最快的链家爬虫

直接使用链家API抓取数据的技术爬虫,作者自嗨号称宇宙最快,具体快不快,还等你亲自试试呢。

项目地址:CaoZ/Fast-LianJia-Crawler

image

7.地图搜租房

爬虫全天不间断获取公开租房信息,汇总处理分析后落地到数据库中。整合房源众多,包括豆瓣租房小组】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家园】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【贝壳租房】、【v2ex租房帖子】、【上海互助租房】。并且支持房价筛选、个人房源。可以直接利用高的地图展示房源。现在都拥有自己的官网产品了。

项目地址:liguobao/58HouseSearch

官网地址:地图搜租房

image

实验楼曾经有一个实习生,把自己毕业时利用高德 API 和 Python 找到房子的租房经历。写成了一个课程,感兴趣的同学也可以关注学习一下!《高德API + Python 解决租房问题》​

知乎专栏同步:https://zhuanlan.zhihu.com/p/86133918


推荐阅读
  • 简化报表生成:EasyReport工具的全面解析
    本文详细介绍了EasyReport,一个易于使用的开源Web报表工具。该工具支持Hadoop、HBase及多种关系型数据库,能够将SQL查询结果转换为HTML表格,并提供Excel导出、图表显示和表头冻结等功能。 ... [详细]
  • 本文介绍如何从JSON格式的文件中提取数据并将其分配给Bash脚本中的变量。我们将探讨具体的命令和工具,帮助你高效地完成这一任务。 ... [详细]
  • 在高并发需求的C++项目中,我们最初选择了JsonCpp进行JSON解析和序列化。然而,在处理大数据量时,JsonCpp频繁抛出异常,尤其是在多线程环境下问题更为突出。通过分析发现,旧版本的JsonCpp存在多线程安全性和性能瓶颈。经过评估,我们最终选择了RapidJSON作为替代方案,并实现了显著的性能提升。 ... [详细]
  • Python 工具推荐 | PyHubWeekly 第二十一期:提升命令行体验的五大工具
    本期 PyHubWeekly 为大家精选了 GitHub 上五个优秀的 Python 工具,涵盖金融数据可视化、终端美化、国际化支持、图像增强和远程 Shell 环境配置。欢迎关注并参与项目。 ... [详细]
  • SpringMVC RestTemplate的几种请求调用(转)
    SpringMVCRestTemplate的几种请求调用(转),Go语言社区,Golang程序员人脉社 ... [详细]
  • docker镜像重启_docker怎么启动镜像dock ... [详细]
  • 利用Java与Tesseract-OCR实现数字识别
    本文深入探讨了如何利用Java语言结合Tesseract-OCR技术来实现图像中的数字识别功能,旨在为开发者提供详细的指导和实践案例。 ... [详细]
  • 本文详细介绍了在XAMPP环境中如何修改Apache和MySQL的默认端口号,并确保WordPress能够正常访问。同时,提供了针对Go语言社区和Golang开发者的相关建议。 ... [详细]
  • 本文探讨了如何在Classic ASP中实现与PHP的hash_hmac('SHA256', $message, pack('H*', $secret))函数等效的哈希生成方法。通过分析不同实现方式及其产生的差异,提供了一种使用Microsoft .NET Framework的解决方案。 ... [详细]
  • Mongoose 5.12.10 发布:MongoDB 异步对象模型工具的新特性与修复
    Mongoose 是一款专为异步环境设计的 MongoDB 对象模型工具,支持 Promise 和回调函数。最新版本 Mongoose 5.12.10 带来了多项修复和改进,包括查询选项中的默认值设置、嵌入式判别器填充、以及 TypeScript 定义文件的优化。 ... [详细]
  • 解决Spring Boot项目创建失败的问题
    在尝试创建新的Spring Boot项目时遇到了一些问题,具体表现为在项目创建过程中的两个关键步骤出现错误。本文将详细探讨这些问题及其解决方案。 ... [详细]
  • CentOS 7.6环境下Prometheus与Grafana的集成部署指南
    本文旨在提供一套详细的步骤,指导读者如何在CentOS 7.6操作系统上成功安装和配置Prometheus 2.17.1及Grafana 6.7.2-1,实现高效的数据监控与可视化。 ... [详细]
  • Java 中重写与重载的区别
    本文详细解析了 Java 编程语言中重写(Override)和重载(Overload)的概念及其主要区别,帮助开发者更好地理解和应用这两种多态性机制。 ... [详细]
  • MySQL Debug 模式的实现与应用
    本文详细介绍了如何启用和使用 MySQL 的调试模式,包括编译选项、环境变量配置以及调试信息的解析。通过实际案例展示了如何利用调试模式解决客户端无法连接服务器的问题。 ... [详细]
  • Spring Cloud因其强大的功能和灵活性,被誉为开发分布式系统的‘一站式’解决方案。它不仅简化了分布式系统中的常见模式实现,还被广泛应用于企业级生产环境中。本书内容详实,覆盖了从微服务基础到Spring Cloud的高级应用,适合各层次的开发者。 ... [详细]
author-avatar
mobiledu2502937981
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有