Мобильный прокси для LinkedIn

Сбор данных с помощью прокси: все подробности

Механизмы сбора данных через прокси — его подключение к HTTP-клиенту, выбор режима ротации или «sticky session», соблюдение параметра Retry-After при ошибке 429 и предотвращение раскрытия идентификации «безголового» браузера — не являются специфическими для LinkedIn. Они подробно описаны в разделе этого сайта, посвящённом веб-парсингу, а не в виде некачественного краткого изложения здесь:

• Лучшие мобильные прокси для веб-парсинга — Сравнение центров обработки данных, интернет-провайдеров, услуг для частных лиц и мобильной связи, в том числе случаи, когда мобильная связь — не лучший выбор.
• Руководство по веб-парсингу с использованием мобильного прокси — Полный рабочий процесс: подключение к прокси, ротация сессий и «привязанные» сессии, а также почему даже «чистые» IP-адреса по-прежнему блокируются.
• Сбор данных с помощью мобильного прокси на Python — рабочий код для Requests, httpx, aiohttp и Scrapy с алгоритмами ротации и отсрочкой повторных попыток.
• Мобильный прокси с использованием Selenium и Playwright — прокси на уровне контекста, ловушка «authenticated-proxy» в Chrome и отладка ошибок 407.

Далее следует часть, касающаяся именно LinkedIn — и именно в LinkedIn общие рекомендации реже всего оказываются применимыми.

В чём LinkedIn отличается от общей картины

В приведенном выше руководстве по скрапингу обнаружение в основном рассматривается как проблема репутации IP-адреса: «чистый» адрес позволяет обойти блокировку, а «заблокированный» — нет. LinkedIn добавляет уровень защиты, к которому «чистый» мобильный IP-адрес не имеет отношения, — проверки через контрольные точки. Запрос номера телефона, фотографии на удостоверение личности или сообщение «мы заметили необычную активность» срабатывает на основе поведенческих сигналов: скорость сеанса, отсутствие движений мыши в браузере без графического интерфейса, слишком регулярные интервалы между запросами, чтобы это могло быть результатом просмотра страниц человеком. Они моделируются на основе учетной записи и сеанса, а не на основе рейтинга репутации IP-блока, поэтому переход с прокси-сервера в центре обработки данных на мобильный прокси устраняет один вектор обнаружения, а остальные остаются точно такими же, как и раньше.

Сбор данных именно из LinkedIn

LinkedIn заслуживает отдельного упоминания, поскольку это платформа, о которой люди спрашивают чаще всего, и именно к ней вышеприведенные общие рекомендации применимы в наименьшей степени.

Пункт 8.2 Пользовательского соглашения LinkedIn запрещает разработку, поддержку или использование программного обеспечения, скриптов или ботов для сбора данных с сервиса, копирования данных профилей или получения доступа к ним с помощью автоматизированных средств. Это договорный запрет, и он строго соблюдается.

Стоит обратить внимание на дело «hiQ Labs против LinkedIn». В 2022 году Девятый окружной апелляционный суд постановил, что сбор общедоступных данных не нарушает Закон о компьютерном мошенничестве и злоупотреблении — это действительно важное решение, и зачастую на этом краткое изложение заканчивается. Но не должно. При повторном рассмотрении дела LinkedIn выиграла по иску о нарушении договора: hiQ согласилась с решением суда о выплате 500 000 долларов, постоянным судебным запретом, обязывающим компанию прекратить сбор данных и уничтожить собранные данные и исходный код, в результате чего компания прекратила свою деятельность. Это не было уголовным преступлением в виде компьютерного взлома, но все равно оказалось фатальным.

Таким образом, поле для маневра весьма ограничено. Если вам требуются данные LinkedIn в больших объемах, единственные способы, которые не приведут к нарушению данного соглашения, — это официальные API и партнерские программы. Если вы работаете с данными из открытых профилей, имейте в виду, что вопросы, связанные с Законом о компьютерном мошенничестве и злоупотреблении (CFAA), и вопросы, связанные с контрактом, — это две разные вещи, и именно нарушение контракта стало причиной закрытия компании hiQ.

Альтернатива, соответствующая требованиям: собственные API LinkedIn

Платформа LinkedIn для разработчиков маркетинговых решений, API Talent Solutions и синхронизация с CRM Sales Navigator — это официальный канал доступа к данным в больших объемах. Для доступа требуется утвержденное приложение, аутентификация по OAuth2 и, как правило, подписанное соглашение об обработке данных; запросы ограничиваются дневными квотами, а не блокируются на основе эвристических алгоритмов по IP-адресам. Они охватывают объявления о вакансиях, эффективность рекламы, а также собственные лиды и связи партнера — то есть те данные, которые LinkedIn решила раскрыть на основании договора, — но не открытый скрапинг произвольных профилей пользователей. В этом процессе не задействованы прокси-серверы, поскольку запросы представляют собой аутентифицированные вызовы «сервер-сервер», а не сеансы браузера. Если конкретный случай использования выходит за пределы указанной области, два предыдущих абзаца по-прежнему применяются в полном объеме; API является исключением, предусмотренным соглашением, а не обходным путём для запрета на скрапинг, установленного в Пользовательском соглашении.

Где мобильный прокси уместно использовать в LinkedIn

Мобильный прокси вполне уместен на LinkedIn, если речь не идет о скрапинге. Он предоставляет учетной записи, на управление которой у вас есть полномочия — будь то агентство, ведущее профиль клиента с его разрешения, или распределенная команда, совместно использующая одну учетную запись, — стабильный IP-адрес, соответствующий стране, чтобы она не ассоциировалась с посторонними учетными записями из-за использования общей инфраструктуры. Это обеспечение чистоты сети, что соответствует Пользовательскому соглашению и не имеет ничего общего со сбором данных.

Как LinkedIn устанавливает взаимосвязь между учетными записями, использующими один и тот же IP-адрес

LinkedIn ведет непрерывный журнал IP-адресов, «отпечатков» устройств — операционной системы, разрешения экрана, установленных шрифтов, хеша canvas — и файлов cookie браузера, с которых осуществлялась аутентификация каждой учетной записи, и сопоставляет эти данные со всеми остальными учетными записями на платформе. Согласно результатам независимых исследований, проведенных за последние несколько лет, порог совместного использования IP-адреса составляет примерно три пересекающихся входа в систему в течение 30-дневного периода, после чего запускается проверка; превышение этого порога не обязательно означает прямое ограничение, чаще всего это приводит к необходимости прохождения проверки по телефону или удостоверению личности при следующем входе в систему. Пересечение IP-адресов — не единственный значимый сигнал. Учётные записи, у которых совпадает 40 % или более связей первой степени, рассматриваются как один человек, использующий два профиля, и одна из этих двух учётных записей подвергается ограничению независимо от того, какой IP-адрес использовался в тот день.

При работе с клиентами следует использовать «закрепленные сессии», а не ротацию

Сессионный куки LinkedIn выдается на основе IP-адреса и отпечатка устройства, указанных при входе в систему, и изменение любого из этих параметров в середине сеанса приводит к необходимости повторной аутентификации и, зачастую, к запросу контрольного вопроса — что противоположно схеме ротации, которая помогает избежать блокировки из-за сканинга в других системах. Для работы с учетной записью прокси должен удерживать один IP-адрес на протяжении всего рабочего сеанса учетной записи, в идеале — в том городе, который уже указан в профиле, и менять его только между сеансами, но никогда в пределах одного сеанса. Ротационный пул резидентных адресов, который по умолчанию продаётся для задач по скрапингу, в данном случае действует хуже, чем работа без прокси вообще, поскольку он воссоздаёт именно ту схему «новое устройство, новое место», которую LinkedIn уже помечает как подозрительную.

Разминка и собственные ограничения LinkedIn

Наличие «чистого» мобильного IP-адреса, соответствующего стране, не освобождает аккаунт от собственных ограничений LinkedIn на использование, которые применяются к каждому аккаунту независимо от качества сети. Результаты поиска для бесплатной учетной записи исчерпываются после достижения месячной квоты — лимита коммерческого использования; количество запросов на подключение ограничивается примерно до 100–200 в неделю, после чего LinkedIn начинает незаметно отклонять остальные, а для совершенно новой учетной записи или той, которая только что перешла на новый IP-адрес, предполагается постепенное наращивание активности. Большинство операторов в течение первых двух–четырех недель ограничивают активность новой учетной записи несколькими действиями в день, прежде чем разрешить работу в обычном режиме. Ничто из этого не связано с использованием прокси. Ограничения зависят от возраста учетной записи и модели поведения, и даже прокси, идеально решающий проблему с IP-адресом, не спасет учетную запись от ограничений, если эти лимиты будут игнорироваться.

Получите выделенный прокси-сервер для веб-парсинга

Активные точки доступа PXM2 — выберите страну, из которой ваша целевая аудитория должна вас видеть, и получите выделенный IP-адрес с поддержкой 4G/5G, неограниченной пропускной способностью и возможностью смены IP-адресов:

Часто задаваемые вопросы

Связанные руководства по мобильным прокси-серверам

Принцип «один выделенный IP-адрес на одну учетную запись», о котором говорилось выше, одинаков для всех крупных платформ — в каждом руководстве рассматриваются системы обнаружения и детали настройки, которые добавляет конкретная платформа:

Руководства по платформам

Основные руководства по мобильным прокси-серверам