移动代理人工智能训练数据
开放网络正逐渐对数据集采集关闭大门：Cloudflare 现在默认屏蔽 AI 爬虫，而付费访问的市场正取代免费爬取。本指南坦率地说明了代理能解决什么问题、无法解决什么问题，以及在哪些情况下地域覆盖范围仍然至关重要。
- 已声明的爬虫会按名称被屏蔽 —— 即使更改了 IP 地址，您如实申报的用户代理也不会被解封，而若谎称未申报，只会白白浪费数月时间。
- 超过250万个网站选择退出——截至2025年8月，全面禁止AI训练的现象已如此普遍，且这一趋势仍在持续。
- 付费访问现已成为一种真正的渠道——402“需要支付”状态和按次使用许可已从提案阶段进入正式实施阶段。
- 语言环境覆盖范围才是真正的代理问题——从一个国家收集而来的语料库，就是关于该国的语料库。
在市场里找一位会说这种语言的人，向他请教当地的用语。
访问仅存在于移动网页上的内容。
人工智能训练数据要求
开篇直截了当是有必要的，因为关于这个主题的大多数文章都不是这样写的。 如果你正在运行一个已声明的AI爬虫，代理服务器无法让你绕过当前用于封锁它的控制措施。这些控制措施的关键在于你公开的爬虫身份，而非其来源地址。在继续声明同一爬虫的同时更改出口IP地址，除了让封锁方更难追踪到源头之外，并不会改变任何结果。
代理在处理数据集工作时真正能解决的问题是地理因素。网络内容中很大一部分是按地区提供的——例如本地新闻、区域目录、针对特定市场的文档以及大型出版物的国家版——而其中相当一部分内容在目标市场之外无法获取、被删减或表述方式不同。 从单一国家收集语料库，会导致该语料库中每个主题都过度体现该国的视角。这首先是一个数据质量问题，其次才是其他问题，而分布式采集恰恰正是为了解决这一问题。
| 要求 | 这到底是什么意思 | 使用代理服务器有帮助吗？ |
|---|---|---|
| 收集许可 | 机器人指令、网站条款，以及日益普及的付费许可 | 不。这是政策和合同方面的问题，而不是网络方面的问题。 |
| 区域和语言支持范围 | 获取向当地读者提供的地区版 | 是的。这就是核心案例。 |
| 移动端内容 | 仅在某些市场的移动网页上存在的素材 | 是的，搭配一个相应的客户端 |
| 来源记录 | 来源、时间戳、生效指令、声明的许可、市场 | 间接地——只有当你掌控了市场领域，才能对其进行记录 |
请如实申报您的爬虫，并遵守所获指示。这不仅是唯一站得住脚的做法，而且，如果语料库是在违背出版商明确意愿的情况下构建的，一旦有人询问其构建方式，该语料库便在商业上无法使用——而如今，提出此类询问的情况正日益增多。
大规模数据集抓取
2025年至2026年间，数据集收集的经济模式发生了实质性变化，而了解这些变化比任何技术都更有价值。 Cloudflare 不再将决定权交给各个网站，而是默认阻止 AI 爬虫，并会事先询问每个新域名是否允许 AI 爬虫访问。从 2026 年 9 月起，这一默认设置将进一步扩展，涵盖任何带有广告的页面上的混合用途爬虫——即那些融合了搜索、代理和训练行为的爬虫。
在实施封锁的同时，一种支付渠道应运而生。“按抓取付费”（Pay Per Crawl）机制会对请求返回 402 状态码（需要支付），让发布者设定费率，由爬虫决定是否支付。其后续版本调整了触发条件：发布者是在内容实际被用于答案时获得报酬，而非在机器人抓取页面时。 无论哪种方式，“公开即免费获取”这一假设已不再符合当前基础设施的运行逻辑。
这种转变的规模在流量中可见一斑。 截至2026年6月，在Cloudflare网络上，用于训练的爬虫占AI机器人流量的50.6%，而搜索机器人已降至10.7%；早在2025年8月，就有超过250万个网站已选择完全禁止AI训练。 内容发布商不再将AI爬取视为搜索流量中的微不足道的误差，而是开始将其作为独立项目进行定价。
source_url … fetched_at 2026-08-24T09:14:02Z robots_directive … # what was in force at fetch time, not today stated_licence … # as published on the page market FR # the exit country you fetched from language fr content_hash … # for deduplication across markets
数据多样性与质量
训练语料库中的多样性通常被视为一种公平性属性。更通俗地说，它也是一种准确性属性。一个完全基于某个国家收集的素材进行训练的模型，会继承该国在各个方面的默认设置——从计量单位、日期格式，到辩论中哪一方被视为中立一方。 这些都不是刻意为之；仅仅是因为样本中包含的内容如此。
- 体验当地风情，而不仅仅是语言 — 仅在西班牙境内收集的西班牙语材料并不算真正的西班牙语。不同地区的版本在词汇、主题以及出版内容上都存在差异。
- 在不同市场之间进行数据去重，而非在同一市场内部 — 同一出版物的各国版本在文本内容上存在大量重复。通过对整个语料库进行内容哈希处理，可以避免同一篇联合供稿文章重复出现四十次。
- 将市场作为字段记录 — 如果没有它，你就无法衡量自身的覆盖范围、重新调整投资组合，也无法在事后解答有关代表性的问题。
- 注意通用后备方案 — 从该地区以外请求区域版本时，通常会返回国际默认版本。大规模收集此类内容，会给人一种看似覆盖全面、实则内容空洞的错觉。
- 宁可广而不深 — 来自你已有的信息源的另外一千份文件，其价值远不及来自你尚未涉足的市场的前一百份文件。
在数据收集过程中避免阻塞
对于向您开放的数据集，其规范与任何其他大规模爬取操作相同，且在数据抓取指南中已有详细说明。 请将每个主机的请求速率控制在不会给发布者造成实际成本的水平。应遵守 Retry-After 规则，而非将 429 状态码视为需要绕过的障碍。应积极使用缓存并采用条件请求，以确保重新爬取对源站几乎不产生任何成本。
值得牢记的是“阻断”与“拒绝”之间的区别。速率限制是一种要求放慢速度的请求，而放慢速度才是正确的回应。 而“机器人指令”或许可门控则是关于权限的决定，此时正确的应对方式是予以尊重或协商访问权限——而不是在得到不同答复之前就更换地址。将这两者混为一谈，正是导致数据集程序陷入法律困境的原因，而这些法律问题往往比它们所构建的模型本身存续得更久。
关于如何礼貌地进行大规模爬网的具体操作方法，请参阅 网络爬虫的最佳实践，以及在做出反应之前先正确阅读回复， 常用模块及其解读方法.
从其内部收集每个区域设置
PXM2实时位置——为您的语料库所代表的每种语言和每个市场添加一个观察点：
法国
印度
新加坡
常见问题解答
使用代理能绕过AI爬虫的封锁吗？
除非你声明了一个AI爬虫——而你确实应该这么做。这些控制措施的关键在于声明的用户代理和已公布的爬虫身份，因此更改出口地址并不会改变结果——它只是让拒绝行为更难追溯到具体来源。 代理服务器真正能解决的是地理限制问题：访问面向普通访客开放的、针对特定地区和语言的内容版本，这属于另一个真实存在的问题。
在数据集收集方面，究竟发生了什么变化？
基础设施级别的默认设置发生了变化。Cloudflare 开始默认阻止 AI 爬虫，而不是将此决定权交给各个网站；从 2026 年 9 月起，该默认设置将扩展至在含广告页面上运行的混合用途爬虫。 与此同时，付费访问机制已从理论阶段进入实际运行：Pay Per Crawl 会对抓取请求返回 402 支付要求状态码，而其后续机制则是在内容实际被用于回答时向发布者付费，而非在机器人读取页面时付费。
从流量角度来看，这种变化有多大？
截至2026年6月，训练爬虫在Cloudflare网络上的人工智能机器人流量中占比达50.6%，而搜索机器人的占比已降至10.7%。正是这种角色互换，促使内容发布商不再将人工智能爬取视为搜索流量中的微不足道的误差，而是开始对其单独定价。
一个数据集要具备哪些条件，才能被视为具有说服力，而不仅仅是规模庞大？
您在采集时记录的来源信息。包括来源网址、获取时间戳、获取时生效的robots指令、页面上声明的许可协议或使用条款，以及数据来源的市场。这些信息通常无法在事后重建，而无法证明来源的语料库，无论质量多好，在商业上都很难使用。
为什么语言环境多样性需要分布式采集？
因为网络上的大量内容都是按地区提供的。 本地新闻、地区性目录、针对特定市场的文档以及大型网站的国家版本，在目标市场之外往往无法访问、内容被删减或表述方式不同。如果仅收集某个国家的所有内容，你的语料库中该国对每个主题的叙事框架就会被过度代表——这首先是一个质量问题，其次才是伦理问题。
相关移动代理指南
数据集工作的数据采集方法借鉴了数据抓取集群的规范，其采样逻辑则源自市场调研。