Веб-парсинг С использованием мобильных прокси-серверов

Руководства по сбору данных с помощью мобильных прокси

Восемь руководств, каждое из которых отвечает на свой вопрос. Начните с того, которое соответствует той ситуации, в которой вы застряли.

Каждое из приведенных ниже руководств исходит из одной и той же исходной точки: скрипт или краулер отправляет исходящие запросы через мобильный IP-адрес с ротацией или фиксированный, а затем считывает то, что отправляет целевый ресурс в ответ — HTML, JSON или страницу с блокировкой. Разница заключается в характере задачи: выбор подходящего клиента, чтение и реакция на конкретную страницу блокировки или работа с отдельной вертикалью, например электронной коммерцией, где страницы с ценами и наличием товара имеют собственную логику ограничения частоты запросов. Если вы не уверены, что именно подходит для вашего целевого ресурса, сначала ознакомьтесь с таблицей маршрутизации в следующем разделе.

Какой прокси вам на самом деле нужен?

«Mobile» — это самый надежный уровень прокси, но и самый дорогой. В значительной части задач по сбору данных он не приносит никакой измеримой выгоды — поэтому начинайте с цели, а не с продукта.

Почему показатели Mobile IP считаются «чистыми»

Мобильные операторы объединяют тысячи абонентов в один небольшой пул публичных IPv4-адресов с помощью NAT операторского уровня, а затем постоянно перераспределяют эти адреса по мере того, как телефоны перемещаются между базовыми станциями или повторно подключаются к сети. Система обнаружения, блокирующая один из таких адресов, блокирует и весь обычный трафик мобильных устройств, находящийся за ним в данный момент, а не только трафик бота — поэтому операторы сопротивляются повсеместным запретам, а большинство поставщиков антибот-решений по умолчанию считают мобильные ASN доверенными. Компромисс заключается в том, что вы не можете удерживать конкретный адрес бесконечно: оператор может переназначить его у вас прямо во время сеанса, поэтому «привязанный» сеанс на мобильном прокси представляет собой аренду, измеряемую в минутах, а не фиксированный адрес, который вы сохраняете на весь срок выполнения задания.

Центры обработки данных и жилые здания — для сравнения

IP-адреса центров обработки данных предоставляются хостинг-провайдерами и не имеют никакой истории использования в домашних сетях или сетях операторов связи, поэтому именно их в первую очередь выявляет фильтр, основанный на ASN. Прокси-серверы для частных пользователей проходят через домашнее подключение к интернет-провайдеру и проходят большинство тех же проверок, что и мобильные IP-адреса, при этом по более низкой цене, поскольку домашнее хозяйство, стоящее за ними, по-прежнему выглядит как одна идентичность, а не как тысячи пользователей, совместно использующих CGNAT. Мобильные IP-адреса стоят дороже именно на тех сайтах, которые и без того с недоверием относятся к бытовым диапазонам — как правило, из-за того, что эти диапазоны ранее подвергались злоупотреблениям, — а не потому, что их повсеместно сложнее обнаружить.

Как выглядит стек скрейпинга

Практически каждый стек для сбора данных в конечном итоге попадает в одну из двух категорий, и от этого выбора во многом зависит дальнейший ход событий.

• HTTP-клиент, когда разметка уже содержится в ответе — запросы, httpx, aiohttp или Scrapy. На порядок менее ресурсоемко с точки зрения памяти и времени, чем браузер, и это то, к чему стоит обратиться в первую очередь. Подробнее об этом — в руководстве по Python.
• Настоящий браузер, в котором данные появляются только после выполнения кода JavaScript — Playwright или Selenium. Работают медленнее и более ресурсоемко, при этом имеют гораздо большую площадь «отпечатка», где могут возникнуть ошибки. Подробнее об этом — в руководстве по Selenium и Playwright.
• Поворот или «закрепленная» сессия — определяется для каждого задания — При анонимном сканировании сайтов следует чередовать логические задания; для доступа к ресурсам, требующим авторизации, следует использовать один и тот же IP-адрес. Смена выходного IP-адреса в середине сеанса выглядит как попытка перехвата сеанса, что является более негативным сигналом, чем сам процесс сбора данных.
• Время ожидания, обеспечивающее соблюдение параметра Retry-After — A 429 — это проблема скорости. Смена IP-адреса и повторная отправка запроса приводят к тому, что проблема рассматривается как проблема идентификации, и именно так сканирование переходит из режима ограничения в режим блокировки.

Идентификация по отпечаткам пальцев реализуется на основе протокола IP

Мобильный IP-адрес на выходе из сети изменяет то, как запрос выглядит для средств защиты на сетевом уровне; однако он никак не влияет на «отпечаток» браузера, который оставляет реальное устройство. Хеши Canvas, строки рендерера WebGL, списки установленных шрифтов и временные шумы в «безголовой» сборке Chromium проверяются независимо от репутации IP-адреса, и даже «чистый» мобильный IP-адрес в сочетании с явно автоматизированной сигнатурой браузера по-прежнему попадает под подозрение. Именно эту брешь устраняют браузеры с антидетектированием — они присваивают каждой идентичности для сбора данных единый, правдоподобный отпечаток вместо стандартного, общий для всех «безголовых» установок. Руководство по браузерам с функцией защиты от обнаружения в котором рассказывается, какие поля имеют значение, а какие можно оставить с настройками по умолчанию.

Какие команды на самом деле используют мобильные прокси для сбора данных

Приведенные выше решения относительно уровней и стеков могут различаться в зависимости от целей сканирования. Четыре шаблона охватывают большую часть запросов, проходящих через прокси-серверы PXM2.

• Мониторинг цен и наличия товара — Розничные продавцы и реселлеры периодически перепроверяют страницы товаров конкурентов, зачастую одновременно в нескольких регионах, поскольку цена и наличие товара, отображаемые покупателю, могут зависеть от его предполагаемого местоположения. Сайты электронной коммерции, как правило, ограничивают частоту запросов на сессию, а не на IP-адрес, что делает эту проблему скорее проблемой ротации, чем проблемой уровня прокси-серверов.
• Проверка рекламы — Чтобы убедиться, что реклама действительно отображается в нужной стране с тем креативом, который был заказан, необходимо отправить запрос с IP-адреса домашнего или мобильного устройства, физически расположенного в этой стране — с IP-адреса дата-центра такая реклама просто никогда не показывается. Это одна из немногих задач, где географическое положение имеет большее значение, чем показатель доверия.
• Отслеживание позиций в поисковых системах и на торговых площадках — Поисковые системы и торговые площадки персонализируют результаты с учетом предполагаемого местоположения и типа устройства, поэтому проверка позиции в рейтинге с неправильным ASN или из другой страны дает результат, который реальный пользователь никогда не увидит. Мобильные IP-адреса также позволяют при проверке имитировать именно мобильную страницу результатов, которая всё больше отличается от десктопной.
• Публичный набор данных и коллекция данных для обучения моделей — Массовый сбор данных для поисковых индексов, наборов данных для сравнения цен или обучающих корпусов осуществляется в таких масштабах, что блоки накапливаются — один отмеченный IP-адрес может привести к отклонению всей партии. Это характерно даже для самого обширного из доступных пулов прокси-серверов и наименее агрессивной ротации, которую можно использовать, чтобы объем запросов от каждого отдельного пользователя не превышал пороговое значение, при котором начинается проверка.

Ни одному из этих четырёх по умолчанию не требуются мобильные IP-адреса — приведенная выше таблица маршрутизации по-прежнему применяется к каждому целевому объекту. Их объединяет то, что система защиты оценивает не отдельные запросы, а совокупность запросов, поэтому выбор прокси-сервера должен осуществляться в сочетании с графиком и политикой ротации, а не вместо них.

Ответственный сбор данных из открытых источников

Сбор общедоступных данных, как правило, является законным, и использование прокси-сервера никак не влияет на этот вывод. Влияние оказывают все сопутствующие сбору действия.

• Вопрос о доступе — это не то же самое, что вопрос о договоре — Девятый окружной апелляционный суд в деле «hiQ Labs против LinkedIn» постановил, что извлечение данных с общедоступных страниц не является нарушением Закона о компьютерном мошенничестве и злоупотреблении. LinkedIn всё же выиграла дело по обвинению в нарушении договора. Извлечение данных с общедоступных страниц не является хакерством; условия, с которыми вы согласились, подлежат исполнению.
• robots.txt — В большинстве юрисдикций этот документ не имеет юридической силы, однако его прочтение не требует затрат, а игнорирование свидетельствует о недобросовестности. В недавних европейских рекомендациях он также рассматривается как машиночитаемый сигнал о сохранении прав.
• Персональные данные — Тот факт, что данные являются общедоступными, не означает, что на них не распространяется действие GDPR или CCPA. Если собираемые вами данные позволяют идентифицировать людей, вам необходимо иметь законное основание для их сбора, независимо от того, каким образом вы их получили.
• Оценить — Ухудшение качества работы сервиса, из которого вы получаете данные, — это самый быстрый способ превратить техническую проблему в юридическую. Параллелизм должен настраиваться для каждого целевого хоста в отдельности, а не глобально.

Этот Руководство по веб-парсингу с использованием мобильных прокси В данной статье каждый из этих вопросов рассматривается более подробно. Ничто из изложенного не является юридической консультацией, а законодательство в разных странах может различаться.

Связанные руководства по мобильным прокси-серверам