网页抓取 使用移动代理

移动代理爬取指南

八篇指南，每篇解答一个不同的问题。请从与你当前遇到的难题最匹配的那一篇开始阅读。

以下每篇指南都基于相同的起点：一个脚本或爬虫通过轮换或粘性移动IP发送出站请求，然后读取目标返回的内容——无论是HTML、JSON还是阻塞页面。 区别在于问题的具体表现形式：选择合适的客户端、解析并应对特定的阻断页面，或是处理电子商务等特定垂直领域——在该领域中，价格和库存页面通常带有各自的速率限制逻辑。如果您不确定哪种情况适用于您的目标，请先阅读下一节中的路由表。

你到底需要哪种代理？

移动端是最值得信赖的代理层，也是最昂贵的一层。在相当一部分数据抓取任务中，它带来的实际收益无法量化——因此，应从目标出发，而非从产品出发。

为什么移动IP显示为“无问题”

移动运营商通过运营商级NAT，将成千上万的用户映射到同一小部分公共IPv4地址池中，然后随着手机在基站之间切换或重新连接到网络，不断重新分配这些地址。 任何阻断其中一个地址的检测系统，不仅会阻断爬虫，还会阻断当前位于该地址后方的所有普通手机流量——因此运营商反对一刀切的封禁措施，而大多数反机器人供应商默认将移动 ASN 标记为可信。 其取舍在于，您无法无限期保留特定地址：运营商可能在会话进行中将其重新分配给其他用户，这就是为什么移动代理上的“粘性会话”仅以分钟为单位计时，而非您在任务整个生命周期内都能保留的固定地址。

数据中心与住宅，供比较

数据中心IP地址来自托管服务提供商，完全不具备任何家庭用户或运营商的使用记录，因此它们往往是基于ASN的过滤器最先拦截的目标。 住宅代理通过家庭 ISP 连接进行路由，能够通过与移动 IP 相同的大部分检查，且价格更低，因为其背后的家庭网络在系统看来仍是一个独立身份，而非数千个共享 CGNAT 的用户。 移动IP之所以能获得溢价，特别是在那些已经对住宅IP地址段持怀疑态度的网站上——通常是因为这些地址段此前曾被滥用——而不是因为它在所有地方都更难被检测到。

“抓取堆栈”是什么样子的

几乎所有的数据抓取方案最终都会归入以下两类之一，而这一选择将决定后续的大部分流程。

• HTTP 客户端，当响应中已包含标记时 — 请求、httpx、aiohttp 或 Scrapy。与浏览器相比，其内存和时间消耗低一个数量级，应作为首选方案。相关内容已在 Python 指南中介绍。
• 一个真正的浏览器，当数据仅在 JavaScript 运行后才存在时 — Playwright 或 Selenium。运行速度较慢，占用资源较多，且易出错的“指纹”范围更大。相关内容详见《Selenium 与 Playwright 指南》。
• 轮换还是保持会话，由每个任务决定 — 在匿名爬取时，应在不同逻辑任务之间轮换；对于需要登录才能访问的内容，则保持使用同一IP地址。在会话中途更改退出IP地址会显得像是会话劫持，这比爬取行为本身更易引发警报。
• 遵守“Retry-After”规则的退避时间 — 429 是一个速率问题。轮换 IP 地址并再次发起请求会将其视为身份验证问题，而这正是爬虫从受限状态升级为被封锁状态的原因。

指纹识别技术构建在IP之上

移动端出口IP地址虽然会改变请求在网络层防御系统中的表现形式，但对真实设备留下的浏览器指纹毫无影响。 Canvas 哈希值、WebGL 渲染器字符串、已安装字体列表以及无头 Chromium 构建中的时序噪声，这些都会在与 IP 信誉评估无关的情况下被独立检查；因此，即使搭配一个干净的移动 IP，但浏览器特征明显属于自动化行为，仍会被标记。 这就是反检测浏览器所填补的空白——它们为每个爬虫身份提供一致且合理的指纹，而非无头安装中所有实例共用的默认指纹。 反检测浏览器指南 介绍了哪些字段重要，哪些字段可以保留默认值。

哪些团队实际上会利用移动代理进行数据抓取

上述分层和堆叠的决策会根据爬取的目的而有所不同。四种模式涵盖了通过 PXM2 代理运行的大部分内容。

• 价格和库存监控 — 零售商和经销商会按计划重新检查竞争对手的产品页面，通常会同时检查多个地区的页面，因为向购物者显示的价格和库存情况可能会因其显示的地理位置而有所不同。电商网站通常按会话进行速率限制，而非按 IP 地址，因此这更多是一个轮询问题，而非代理层问题。
• 广告验证 — 要确认广告是否确实在正确的国家/地区、以预订时的创意形式显示，必须通过物理位置位于该国的家庭或移动IP地址进行请求——数据中心IP地址根本不会收到相同的广告。这是为数不多的几个工作场景之一，其中地理位置比信任评分更为重要。
• 搜索和市场排名跟踪 — 搜索引擎和电商平台会根据显示的位置和设备类型对搜索结果进行个性化推荐，因此如果从错误的ASN或错误的国家进行排名检查，得到的排名结果是真实用户永远无法看到的。移动IP还能让检查专门模拟移动端搜索结果页面，而该页面与桌面端的结果页面差异正日益增大。
• 公开数据集和模型训练数据集 — 针对搜索索引、比价数据集或训练语料库的大规模数据采集，其运行规模之大，使得问题会呈倍数累积——一个被标记的IP地址就可能导致整个批次失效。即使使用目前可用的最大代理池，并采用最保守的轮换策略（以使每个独立身份的请求量都保持在触发审核的阈值以下），情况依然如此。

这四种情况默认都不需要移动IP——上述路由表仍适用于每个目标。它们的共同点在于：防御机制评估的是请求模式，而非单个请求，因此代理的选择必须与调度及轮询策略结合进行，而非取代它们。

负责任地抓取公共数据

收集公开数据通常是合法的，而代理服务器不会从任何方面改变这一结论。真正影响结论的，是收集数据时伴随的一切其他因素。

• “访问权”与“合同”是两个不同的问题 — 第九巡回上诉法院在“hiQ Labs诉LinkedIn”一案中裁定，抓取公开页面并不违反《计算机欺诈与滥用法案》。LinkedIn仍因违约而胜诉。抓取公开内容不属于黑客行为；您已接受的条款具有法律约束力。
• robots.txt — 在大多数司法管辖区，该文件不具有法律约束力，但阅读它是免费的，而忽视它则被视为缺乏善意的表现。欧洲最近发布的指南也将其视为一种机器可读的权利保留信号。
• 个人数据 — 数据属于公开信息并不意味着其不受《通用数据保护条例》（GDPR）或《加州消费者隐私法案》（CCPA）的约束。如果所收集的数据能够识别个人身份，无论数据如何获取，您都需要具备合法依据。
• 评分 — 贬低你所获取服务的质量，是将技术问题升级为法律纠纷的最快途径。并发限制应按目标主机设置，而非全局设置。

该 移动代理网络爬虫指南 对上述各项进行了更深入的阐述。以上内容均不构成法律建议，且各地法律规定可能有所不同。

相关移动代理指南