Заголовки мобильных прокси и идентификация по отпечаткам — как происходит обнаружение
Изучите механизмы обнаружения прокси-серверов: HTTP-заголовки, параметры стека TCP/IP, идентификацию по отпечаткам TLS JA3/JA4, а также узнайте, почему IP-адреса, выделенные операторами сотовой связи, позволяют обойти средства защиты от ботов.
- Полное отсутствие утечки прокси-заголовков — Уровень анонимности «Elite Level 1» полностью удаляет заголовки Via, X-Forwarded-For и Forwarded.
- Пакеты с исходным размером MTU для сотовой связи — физические модемы передают пакеты с естественным размером 1420–1440 байт, характерным для сотовой связи.
- Неизмененные рукопожатия TLS — отпечатки клиентов JA3 и JA4 проходят без изменений, без вмешательства прокси-сервера.
- Камуфляж CGNAT оператора связи — высокая плотность трафика скрывает поведение отдельных устройств, находящихся за IP-адресами мобильной сети с высоким уровнем доверия.
Заголовки «Via» и «X-Forwarded-For» полностью удаляются на прокси-шлюзе.
Размеры пакетов сотовой радиосвязи и поведение окна TCP соответствуют реальным мобильным устройствам.
Современные системы защиты от ботов (Cloudflare, DataDome, PerimeterX, Akamai) больше не полагаются исключительно на базовые проверки репутации IP-адресов. Современные методы обнаружения ботов анализируют многоуровневые сетевые сигнатуры, проверяя HTTP-заголовки на прикладном уровне, параметры стека TCP/IP на транспортном уровне и криптографические рукопожатия TLS. Понимание того, как эти уровни взаимодействуют, позволяет понять, почему низкокачественные прокси раскрывают идентичность пользователя, а выделенные мобильные прокси обходят системы обнаружения.
Когда автоматизированный клиент подключается к защищенному веб-сервису, защитная платформа проверяет, соответствуют ли параметры клиента на сетевом уровне заявленной идентификации браузера. Если в запросе указывается, что он поступил с iPhone под управлением Safari через сотовую сеть, но базовое TCP-соединение демонстрирует MTU Ethernet размером 1500 байт и установку соединения по протоколу TLS серверного уровня, такое несоответствие сразу же срабатывает как сигнал обнаружения бота.
Технологии обнаружения основываются на пассивной телеметрии и активном анализе браузеров. Чтобы обойти эти механизмы, необходимо согласовать все уровни вашей сети и среды выполнения: использовать чистую IP-маршрутизацию оператора связи, удалять идентифицирующие промежуточные заголовки, согласовывать размеры окон TCP-пакетов и сопоставлять запросы с легитимными отпечатками браузеров.
Что такое «отпечаток браузера»?
«Отпечаток браузера» — это метод отслеживания и идентификации, при котором собираются технические характеристики клиентской среды для формирования постоянного уникального профиля. Даже если автоматизированный скрипт меняет свой IP-адрес при каждом запросе, антибот-системы сопоставляют атрибуты «отпечатка браузера» для обнаружения и блокировки кластеров автоматизированных запросов.
Когда браузер загружает целевую веб-страницу, JavaScript на стороне клиента, выполняющийся в фоновом режиме, анализирует сотни характеристик аппаратного обеспечения, операционной системы и программного обеспечения. К ним относятся разрешение экрана, установленные системные шрифты, сетевые интерфейсы WebRTC, состояние API аккумулятора и профили аппаратного рендеринга.
Осуществляет рендеринг скрытой 2D/3D-графики в фоновом режиме для расчета различий в производительности драйверов графических процессоров и аппаратном рендеринге между различными графическими чипсетами.
- Извлекает строки рендерера GPU и идентификаторы поставщиков
- Измеряет различия при субпиксельном сглаживании
- Генерирует неизменяемый хеш криптографического устройства
Обрабатывает сигналы аудиогенератора с целью выявления мельчайших математических отклонений в процессе локальной аппаратной обработки аудиосигналов и вычислений с плавающей запятой.
- Анализирует затухание волны звукового генератора
- Определяет частоту дискретизации и задержку аудиобуфера
- Выявляет особенности архитектуры процессора
Пассивная идентификация операционной системы по пакетам путем анализа размера MTU пакетов (1500 для Ethernet против 1420 для сотовой связи), начального значения TTL и размера окна TCP.
- Сигнатуры MTU сотовой связи (1420–1440 байт)
- Начальное отслеживание затухания пакетов TTL при переходе от узла к узлу
- Согласование масштаба окна в пакетах TCP SYN
Как веб-сайты обнаруживают прокси-серверы
Когда трафик проходит через прокси-сервер, целевые веб-сайты анализируют различные сетевые аномалии, чтобы определить, присутствует ли посредник:
- Заголовки HTTP, обеспечивающие анонимность
Неправильно настроенные или прозрачные прокси добавляют характерные HTTP-заголовки, такие как Via, X-Forwarded-For, Forwarded или X-Real-IP, что явно указывает на наличие прокси и раскрывает ваш исходный IP-адрес.
- Несоответствия в стеке TCP/IP (p0f)
Инструменты пассивного определения ОС анализируют параметры пакетов SYN: максимальный размер передаваемого блока (MTU), начальное значение TTL и размер окна TCP. Если ваш User-Agent указывает, что это мобильное устройство на базе Android, но ваш TCP-пакет поступает с MTU Ethernet равным 1500 байтам и сигнатурой TCP-окна сервера Linux, соединение немедленно помечается как подозрительное.
- Несоответствие между TCP и HTTP
Когда сервер в центре обработки данных AWS подключается к веб-сайту с HTTP-параметром User-Agent, указывающим на iPhone с браузером Safari, серьезное несоответствие между ASN хостинга и профилем пользователя-потребителя сразу же вызывает проблемы.
- Утечки локальных IP-адресов в WebRTC
Браузеры, использующие стандартные медиа-стеки WebRTC, напрямую запрашивают серверы STUN, в результате чего конфиденциальные IP-адреса локальной сети (LAN) и глобальной сети (WAN) передаются через прокси-туннели, если политики WebRTC явно не отключены.
- Расхождения в часовых поясах и языковых настройках
Если IP-адрес вашего прокси принадлежит оператору сотовой связи в Париже (UTC+1), но среда JavaScript вашего браузера указывает часовой пояс «America/New_York» и язык системы «en-US», системы обнаружения мошенничества помечают сессию как синтетическую.
Почему мобильные IP-адреса обходят системы обнаружения
Сотовые сети обладают уникальными архитектурными особенностями, которые защищают пользователей от автоматического обнаружения прокси-серверов:
Размеры MTU в исходных сетях сотовой связи: В сетях сотовой связи (4G LTE и 5G) используются более мелкие максимальные единицы передачи (MTU) (обычно от 1420 до 1440 байт) в связи с особенностями формирования пакетов в системах сотовой радиосвязи. Трафик, выходящий через физические сотовые модемы, естественным образом демонстрирует подлинные размеры MTU и временные характеристики пакетов, что идеально соответствует пользовательским агентам мобильных браузеров.
Анонимность стада CGNAT: Поскольку тысячи реальных абонентов мобильной связи совместно используют один мобильный IP-адрес посредством Carrier-Grade NAT (CGNAT), системы защиты от ботов не могут применять строгие пороговые значения поведения, не оттолкнув при этом законных платных пользователей мобильной связи. К мобильному IP-адресу, демонстрирующему высокую скорость запросов, применяется повышенная терпимость.
Поскольку мобильные операторы динамически перераспределяют публичные IP-адреса, в IP-пулах операторов сохраняется небольшой исторический след злоупотреблений. Даже если автоматизированный скрипт вызывает временное ограничение скорости для конкретного мобильного IP-адреса, этот адрес очищается в течение 24–48 часов, поскольку тысячи легитимных абонентов возобновляют обычный просмотр веб-страниц через тот же шлюз CGNAT.
Кроме того, операторы мобильной связи обладают собственными номерами автономных систем (ASN), специально классифицированными как «Mobile Cellular». Межсетевые экраны веб-приложений содержат явные списки разрешенных адресов для ASN мобильных операторов, поскольку на долю мобильной коммерции приходится более 60 % современных потребительских транзакций в Интернете.
Объяснение принципа работы TLS-фингерпринтинга
Анализ отпечатков TLS (обычно осуществляемый с использованием стандартов хеширования JA3 и JA4) заключается в анализе параметров, обмениваемых в начальном пакете TLS «Client Hello» во время установления соединения по протоколу HTTPS. Клиент в определённом порядке сообщает о поддерживаемых им версиях SSL/TLS, допустимых наборах шифров, расширениях, эллиптических кривых и форматах точек.
Платформы защиты от ботов вычисляют хеш MD5 или SHA256 по этим параметрам. Поскольку различные реализации клиентского программного обеспечения (такие как HTTP-клиенты на GoLang, Python Requests, Curl, Google Chrome и Apple Safari) по-разному формируют пакеты Client Hello, шлюзы безопасности могут обнаруживать средства автоматизации, не связанные с браузерами, ещё до того, как будет обменен хотя бы один байт HTTP-содержимого.
Ловушка отпечатков пальцев JA3/JA4: Библиотеки Python, такие как requests, urllib или стандартный cURL, имеют характерные отпечатки JA3, которые радикально отличаются от отпечатков Google Chrome или Apple Safari. При использовании фреймворков для скрапинга сочетание мобильного прокси с браузером с функцией антидетекта (таким как Playwright, Puppeteer или Multilogin) гарантирует, что параметры TLS Client Hello будут соответствовать подлинным сигнатурам браузера.
При реализации автоматизации браузера убедитесь, что ваша платформа автоматизации, помимо подключения через мобильный прокси-сервер, эмулирует реальные размеры области просмотра мобильных устройств, коэффициенты масштабирования устройств и сенсорные возможности:
from playwright.sync_api import sync_playwright
with sync_playwright() as p:
# Dedicated mobile proxy with real cellular MTU & CGNAT exit
browser = p.chromium.launch(proxy={
"server": "http://fr1.pxm2.io:10001",
"username": "user",
"password": "pass",
})
# Configure context to mirror authentic mobile device parameters
ctx = browser.new_context(
user_agent="Mozilla/5.0 (iPhone; CPU iPhone OS 17_5 like Mac OS X) AppleWebKit/605.1.15",
viewport={"width": 390, "height": 844},
device_scale_factor=3,
is_mobile=True,
has_touch=True,
locale="fr-FR",
timezone_id="Europe/Paris",
)
page = ctx.new_page()
page.goto("https://bot.sannysoft.com", wait_until="domcontentloaded")
browser.close()
Как PXM2 остается незамеченным
В приведенной ниже таблице представлено сравнение результатов проверок на обнаружение сбоев у стандартных прокси-серверов и специализированной сотовой инфраструктуры PXM2:
| Вектор обнаружения | Стандартный / Прокси для центров обработки данных | PXM2 — специализированный мобильный прокси-сервер |
|---|---|---|
| Заголовки прокси (Via, XFF) | Часто встречается или изменяется | 100% «Стриппид» (Элитный уровень 1) |
| Характеристики MTU в протоколе TCP/IP | 1500 байт (Ethernet / сервер) | 1420–1440 байт (Authentic Cellular) |
| Пропуск TLS | Может прекратить действие или изменить TLS | Чистый TCP-туннель (TLS на стороне клиента сохраняется) |
| Классификация ASN | Хостинг / Облачный центр обработки данных | Оператор сотовой связи уровня 1 (MNO) |
| Срок действия записей в черном списке IP-адресов | От нескольких месяцев до пожизненного запрета | От 24 до 48 часов (динамический CGNAT) |
| Риск заражения вредоносным ПО через P2P-сети | Высокая доля в жилых P2P-пулах | Ноль (автономные аппаратные модемы) |
| Меры по предотвращению утечек в WebRTC | Ответственность клиента | Маршрутизация через встроенный сотовый шлюз |
PXM2 работает как прокси-сеть уровня «Элит» (уровень 1). Каждый прокси размещен на выделенных физических модемах с реальными SIM-картами, проходит через неизмененные TLS-туннели и полностью исключает утечку заголовков. Узнайте больше о настройках защиты от обнаружения в нашем руководстве по мобильные прокси с браузерами с функцией защиты от обнаружения.
Развернуть незаметные прокси-серверы операторов связи по всему миру
Обеспечьте защиту своих рабочих процессов автоматизации с помощью надежных подключений к сетям 4G и 5G от ведущих операторов мобильной связи:
Великобритания
Испания
Индия
Часто задаваемые вопросы
Как системы защиты от ботов обнаруживают подключения через прокси?
Системы безопасности обнаруживают прокси-серверы с помощью многоуровневой идентификации по «отпечаткам»: проверяя наличие HTTP-заголовков, идентифицирующих прокси (таких как Via или X-Forwarded-For), анализируя параметры стека TCP/IP (такие как сигнатуры p0f и значения MTU), анализируя хэши TLS-рукопожатия (JA3/JA4), а также запросы к реестрам баз данных ASN для идентификации провайдеров услуг хостинга в дата-центрах.
Что такое идентификация по TLS-отпечаткам (JA3 и JA4)?
Метод «отпечатка TLS» анализирует параметры, отправляемые клиентом в начальном пакете TLS Client Hello (наборы шифров, расширения, поддерживаемые эллиптические кривые и порядок форматирования). Системы защиты от ботов вычисляют хеш этих параметров и сравнивают его с известными сигнатурами браузеров, чтобы выявить скрейперы, маскирующиеся под веб-браузеры.
Раскрывают ли такие прокси-заголовки, как X-Forwarded-For, мой реальный IP-адрес?
Только на прозрачных или анонимных (уровень 2) прокси-серверах. PXM2 работает исключительно в режиме прокси-сервера уровня «Элит» (уровень 1), что означает полное удаление всех заголовков, позволяющих идентифицировать прокси-сервер. Серверы назначения получают запросы, которые выглядят так, будто они поступают непосредственно с выходного IP-адреса мобильного оператора.
Почему мобильные IP-адреса не подпадают под запреты, действующие в пределах подсети?
IP-адреса центров обработки данных выделяются блоками подсетей /24, при этом все 256 IP-адресов относятся к одному и тому же центру обработки данных. Операторы мобильной связи используют динамические системы CGNAT, в которых тысячи отдельных абонентов мобильной связи совместно используют одну точку выхода IPv4. Внесение мобильного IP-адреса или подсети оператора в черный список приводит к катастрофическим побочным последствиям для реального потребительского трафика.
Что такое определение типа ОС по протоколу TCP/IP и как на него влияет MTU сотовой сети?
Инструменты пассивного определения ОС анализируют пакеты TCP SYN, в частности размер максимальной единицы передачи (MTU), начальное значение TTL и размер окна TCP. В соединениях центров обработки данных обычно используется MTU размером 1500 байт, тогда как в мобильных сотовых интерфейсах — от 1420 до 1440 байт. Подключение через настоящие сотовые модемы позволяет получить подлинные сигнатуры пакетов мобильной сети.
Связанные руководства по мобильным прокси-серверам
Развертывание незаметных мобильных прокси-серверов
Физические модемы 4G/5G, подлинные сигнатуры сотовых пакетов и полное отсутствие утечки заголовков прокси. Перед покупкой бесплатно опробуйте прокси, который невозможно обнаружить.
Развертывание незаметных мобильных прокси-серверов