移动代理房地产数据
房产门户网站的设计初衷就是面向全国。Rightmove、Idealista、SeLoger 和 Immobilienscout24 各自占据着自己的市场，而使其数据具有价值的大部分因素，只有在该国的访问者面前才能得到恰当的呈现。
- 并不存在一个全球性的门户网站——每个市场都有其现有的主导平台，且各市场的数据模型各不相同。
- 在市场上停留的时间就是信号——只有当你自己记录了首次挂牌和最后挂牌时间时，这个指标才存在。
- 房源信息也属于个人数据 ——即使房源信息是公开的，中介和卖家的详细信息也受数据保护法规的约束。
- 每日更新已经足够快 ——房产交易往往在几天内完成，因此过于频繁的更新既无实际意义，还会导致访问受限。
从各市场内部接触该市场的现有企业。
门户网站在移动端占据主导地位；收集用户浏览的内容。
房地产数据收集
房地产是缺乏全球统一数据源的垂直领域中最明显的例子。每个市场都有自己的主流房产门户网站，它们各自拥有独特的数据模型、描述房产的规范，以及对“价格”的定义。 英国主要依靠Rightmove和Zoopla，美国依靠Zillow和Redfin，法国依靠SeLoger，德国依靠Immobilienscout24，西班牙、意大利和葡萄牙依靠Idealista，荷兰依靠Funda，澳大利亚则依靠realestate.com.au和Domain。这里没有任何可以“一劳永逸”地抓取并重复利用的数据。
这些门户网站专为国内用户打造，其运作方式也相应地针对国内用户。对于那些看起来不像国内用户的访问者，搜索界面、搜索结果、价格历史和成交价记录往往会被简化，甚至直接隐藏；此外，部分网站还会对国外IP地址范围采取日益严格的防机器人措施——这倒也合情合理，毕竟这些地区几乎没有合法的国内流量。 在境内设置一个出口服务器可一举解决这两个问题，这正是全面掌握市场信息与仅获取市场预览之间的区别。
| 市场 | 现有门户网站 | 有什么不同 |
|---|---|---|
| 联合王国 | Rightmove, Zoopla | 要价惯例、租赁权与永久产权的区别、成交价档案 |
| 法国 | SeLoger | 中介费处理、房间计数惯例、能效标签 |
| 德国 | Immobilienscout24 | 冷租与热租、佣金规则、对租赁市场的明显偏好 |
| 西班牙、意大利、葡萄牙 | Idealista | 一个运营商覆盖三个市场，并在其内部针对每个国家制定了相应的规则 |
| 美国 | Zillow, Redfin | 源自房产挂牌服务的数据、估价模型、县级记录 |
地图搜索与列表搜索
有些门户网站根本不按页码进行分页。Zillow 风格的地图界面会返回当前地图视口内的所有内容，因此要全面浏览一个大都市区，意味着需要遍历一组相互重叠的边界框，而不是分别请求第 2 页、第 3 页等。
Rightmove、Idealista 和 SeLoger 则采用传统的编号搜索结果，这种方式浏览起来更简单，但每次搜索的页面数量上限是固定的，因此若要在整个大都市范围内检索，就需要按邮政编码或价格区间来拆分查询，而不是按地理区域来拆分。
监控房产挂牌信息
房产数据中最有价值的一栏，恰恰是任何房产门户网站都不曾披露的：房源挂牌已有多久。房产门户网站只向您展示房源本身，而非其历史轨迹。 通过将首次展示日期和最后展示日期与一个稳定的房源标识符相关联，可以将一系列“快照”转化为在市时间、下架率、重新挂牌行为以及降价频率等指标——这些指标综合起来，比标榜的要价更能准确反映当地市场是趋紧还是趋软。
listing_id … # portal's own identifier, kept stable first_seen 2026-05-02 # you derive this; nobody publishes it last_seen 2026-08-24 price_history [(date, price), …] # every observed change status listed | under_offer | withdrawn | sold market GB # exit country used to collect postcode_area … # the smallest geography the portal exposes
有两个陷阱值得特别指出。 当中介重新挂牌房产时，房产门户网站会重新生成房源标识符，因此若将该标识符视为永久不变，将会在不知不觉中重置您的“上市时间”计时器——地址和属性匹配也会随之重置。此外，房源下架并不意味着已售出；“撤下”和“售出”是意义截然相反的两种结果，而房产门户网站在区分二者方面并不一致。
搜索结果并非列表
搜索结果通常只包含价格、主要参数和缩略图。面积、完整的价格历史表、经纪人信息和照片数量通常只显示在单个房源页面上，因此，完整抓取数据需要在搜索页面之外，针对每个房源再发起一次请求——一个列出了四十处房产的搜索页面，所需的请求数就会变成四十一次，而不是一次。 请根据每条房源的请求次数来规划代理和速率限制预算，而不是根据搜索页面的数量。
区域市场趋势
房地产具有极强的地域性，这使得全国总数据成为你能计算出的最无用的东西。有趣的差异其实存在于邮政编码区或行政区（arrondissement）层面，且往往与全国层面的总体趋势背道而驰。在门户网站所展示的最小地理单元层面进行数据收集，随后再向上汇总，才能保留这些差异。 若在城市层面进行数据收集，则会永久性地丢失这些差异。
这也是多市场覆盖发挥作用的地方，因为比较的对象正是产品本身：某个国家的供应是否趋紧而邻国却趋松，某个城市的价格下调是否日益普遍，房源中租赁所占比例是否在上升。 仅凭单一的国家门户网站无法洞察这些信息，而要掌握所有这些信息，就需要同一套数据收集系统在多个国家同时持续运行。
房产挂牌信息中包含中介和卖方的姓名及联系方式。根据欧洲数据保护法，尽管这些信息是公开的，但仍属于个人数据，因此保留期限和明确的使用目的与访问权限同样重要。 房源照片通常归中介或摄影师所有，而非房产门户网站所有，这使得图片的再发布与房源信息的收集成为两个独立的问题。这两方面均需您自行寻求法律建议。
房地产数据抓取的规模化
此处的访问频率限制异常宽松，而大多数计划在设定时往往过于保守，导致成本过高。房产信息更新以天为单位，而非以分钟为单位。每日访问权限几乎总是足够的，每周访问权限也通常没问题，因此过于紧凑的访问计划不仅无法提供任何有价值的信息，反而会消耗掉你为维护一个多年系列所需保留的访问配额。
由于价值会随着系列研究周期的延长而累积，因此在这个领域，循序渐进的受试者招募显然优于快速招募。应将目标视为连续三年不间断地执行同一项日常工作，而非在第一个月内覆盖所有研究入口。一个能够持续运行的项目，其价值远胜于多个曾一度全面开展但最终中止的项目。
- 每个国家门户设一个出口 — 请勿尝试从西班牙的IP地址访问德国门户网站。该门户网站没有理由为你提供良好的服务，反而有充分的理由对你提出质疑。
- 通过分页搜索保持会话 — 结果集具有状态；在分页过程中轮换会导致同一运行中出现重复项和缺口。
- 按所提供的最小地理范围进行收集 — 你可以随时向上汇总数据，但事后绝不能将城市平均值拆分。
- 保存原始列表页面 — 门户网站会定期调整其标记结构，而原始捕获数据正是让你能够重新提取最初未解析的字段的关键。
- 关注数据收集的健康状况，而不仅仅是数据本身 — 某个门户上发生的无声解析器故障，看起来与平静的市场完全一样，二者都会产生一条平直的曲线。
正确读取一个数据块
在大型门户网站上，IP声誉是必要的，但并非充分条件。 Rightmove、Zillow 和 Immobilienscout24 都在此基础上叠加了一层行为验证机制——例如 Cloudflare、PerimeterX、DataDome 或 CAPTCHA 验证——该层会针对请求模式本身进行评分，而不仅仅是根据其来源地址。
一个会话如果直接跳转到搜索结果的深层页面，或者按标识符顺序请求所有列表，即使是从正常的住宅出口访问，也会被识别为自动化行为；因此，按照浏览会话的方式排序请求，其重要性与出口本身同样重要。参见 常用模块及其解读方法 了解每个缓解层如何发出阻断信号。
关于一般收藏学科，请参见 网络爬虫的最佳实践，以及关于多市场比较背后的抽样设计， 市场调研.
覆盖各国家房产门户网站
PXM2实时数据点——选择您关注其房地产市场的国家，并从每个国家内部收集数据：
法国
新加坡
印度
常见问题解答
哪些门户网站真正重要？
各国家的市场主导者截然不同，这也是该垂直领域的显著特征。 英国市场由Rightmove和Zoopla主导，美国市场由Zillow和Redfin主导，法国市场由SeLoger主导，德国市场由Immobilienscout24主导，西班牙、意大利和葡萄牙市场由Idealista主导，荷兰市场由Funda主导，澳大利亚市场则由realestate.com.au和Domain主导。 由于不存在只需抓取一次即可覆盖全球的通用平台，因此覆盖多个市场意味着需要在多个门户网站上分别进行抓取，且每个门户的数据模型各不相同。
为什么收货地址需要填写所在国家？
门户网站是为国内用户打造的，其运作方式也符合这一定位。对于看起来不像国内用户的访问者，搜索界面、搜索结果、价格历史和成交价记录往往会被简化或隐藏；此外，由于这些海外IP地址范围没有来自国内的合法流量，许多门户网站会对它们采取越来越严格的防机器人措施。使用本地出口可以一举解决这两个问题。
哪个字段最值得收集？
那个没人公开的数据：在市时间。 房产门户网站只展示房源信息，却不会显示房源挂网已有多久。通过将“首次展示”和“最后展示”日期与一个稳定的房源标识符关联起来，即可获得市场挂牌时间、撤板率和重新挂牌行为——这些指标才能真正反映当地市场是趋紧还是趋软，而这些信息在单一的快照中均无法体现。
是否有针对属性数据的特定规则？
有两点值得了解。房源信息通常会包含中介和卖方的姓名及联系方式，根据欧洲数据保护法，这些信息属于个人数据，即使该房源信息是公开的——因此，数据保留期限和使用目的都很重要，而不仅仅是访问权限。 此外，房源照片通常归房产中介或摄影师所有，而非房产门户网站所有，因此重新发布图片与收集房源信息是两个不同的问题。这两方面都应咨询您的法律顾问。
应多久收集一次房产数据？
每天更新通常就足够了，每周更新也往往没问题。房产挂牌信息的变化是以天为单位，而非以分钟为单位，因此过快的更新频率不仅无法提供更多有价值的信息，反而会消耗掉你本应为多年数据序列保留的访问配额。这种数据的价值会随着数据序列长度的增加而累积，因此耐心收集数据绝对比激进收集数据要好。
相关移动代理指南
房地产是一个涉及全国范围的问题，因此多市场抽样和定价指南成为了最接近的参考依据。