Протоколы мобильных прокси — HTTP, HTTPS и SOCKS5: подробное объяснение

При настройке платформ автоматизации, браузеров с функцией защиты от обнаружения или скриптов для сбора данных выбор между протоколами HTTP, HTTPS и SOCKS5 определяет, как формируется, шифруется и маршрутизируется трафик. Хотя все три протокола успешно туннелируют данные через мобильные прокси, они работают на принципиально разных уровнях стека OSI, что приводит к различиям в характеристиках производительности и поведении при утечке DNS.

Сетевой инженер, настраивающий прокси-серверы, должен оценивать соотношение между задержкой при передаче данных, накладными расходами на заполнение заголовков, конфиденциальностью DNS и совместимостью с клиентским программным обеспечением. В средах мобильных прокси-серверов, где трафик проходит по физическим сотовым радиоканалам, выбор подходящего протокола позволяет обеспечить высокую пропускную способность запросов, избегая при этом характерных аномалий в заголовках или утечек данных локального DNS.

Протокол прокси устанавливает связь между вашим локальным приложением и удаленным прокси-сервером. Он определяет, должен ли ваш клиент напрямую отправлять HTTP-вербы на прокси, должны ли криптографические рукопожатия завершаться на прокси или проходить через него без изменений, а также где происходит разрешение доменных имен: у вашего локального интернет-провайдера или удаленно — на базовых станциях оператора мобильной связи.

Что такое протоколы прокси?

Протокол прокси определяет стандартный набор правил и форматов сообщений, используемых между клиентским приложением и прокси-сервером. Он определяет, как происходит обмен учетными данными для аутентификации, как передаются имена хостов и порты назначения, а также как инкапсулируются и ретранслируются пакеты данных.

На архитектурном уровне модель OSI разделяет сетевые задачи на отдельные уровни. Прокси-протоколы работают преимущественно на 5-м уровне (уровень сеанса) или на 7-м уровне (уровень приложения). Понимание этого разделения позволяет объяснить, почему одни протоколы поддерживают не веб-приложения, в то время как другие строго предназначены для веб-сканирования и браузерного трафика.

HTTP- и HTTPS-прокси

Стандартные HTTP-прокси получают полные строки HTTP-запросов и пересылают их от имени клиента. В случае незашифрованных HTTP-веб-страниц прокси анализирует заголовки входящего запроса (такие как Host, User-Agent и Accept) и восстанавливает запрос, направляемый на сервер назначения.

Для обеспечения безопасности HTTPS-соединений современные HTTP-прокси используют Метод HTTP CONNECT (RFC 2817/9110). При запуске HTTPS-запроса ваш клиент отправляет одну команду установки соединения в виде открытого текста:

CONNECT target-website.com:443 HTTP/1.1
Host: target-website.com:443
Proxy-Authorization: Basic dXNlcjpwYXNz

HTTP/1.1 200 Connection Established

Прокси-сервер инициирует TCP-соединение с целевым хостом по порту 443. После установления соединения прокси возвращает HTTP/1.1 200 Connection Established код состояния. С этого самого момента прокси-сервер действует как непрозрачный двунаправленный поток байтов. Ваш клиент и целевой сервер осуществляют криптографическое установление соединения по протоколу TLS непосредственно через прокси-сервер. Поставщик прокси-сервера не может расшифровать или просматривать ваши заголовки, файлы cookie, пароли или содержимое данных.

Поскольку установка соединения TLS происходит по принципу «от конца до конца» между вашим скрейпером и целевым сервером, ваш клиент управляет порядком наборов шифров, согласованием ALPN и криптографическими подписями JA3/JA4. Прокси лишь ретранслирует необработанные зашифрованные пакеты TCP через интерфейс сотового модема.

Кроме того, поскольку прокси-серверы, использующие протокол HTTP CONNECT, устанавливают туннели на основе доменных имен, преобразование доменных имен по сути делегируется прокси-серверу. Ваш локальный компьютер никогда не выполняет DNS-поиск для сервера назначения, что полностью предотвращает утечку DNS-данных в вашей локальной сети.

Прокси-серверы SOCKS5

SOCKS5 — это универсальный двоичный протокол, предназначенный для маршрутизации произвольного TCP- и UDP-трафика через промежуточный брандмауэр или прокси-сервер. В отличие от HTTP-прокси, которые анализируют текст приложений, SOCKS5 использует облегченный двоичный обмен данными (RFC 1928) с минимальными накладными расходами на формирование фреймов.

Процесс установления соединения по протоколу SOCKS5 включает этап согласования аутентификации, за которым следует пакет запроса на установку соединения, в котором клиент указывает IP-адрес или доменное имя назначения, а также порт. Поскольку SOCKS5 работает на 5-м уровне, он полностью независим от прикладного протокола более высокого уровня. Он может туннелировать HTTP, HTTPS, FTP, SSH, SMTP или проприетарные соединения через сокеты.

1. socks5:// — Утечка локального DNS

   Осуществляет преобразование доменных имен ЛОКАЛЬНО на вашем компьютере перед отправкой запросов на прокси-сервер. Если ваш локальный интернет-провайдер осуществляет преобразование DNS, ваше реальное физическое местоположение и целевые домены будут отображаться в журналах DNS.

2. socks5h:// — Безопасный удаленный DNS оператора связи

   Принудительно включает удалённое разрешение DNS на мобильном модеме. Сам прокси-сервер разрешает доменные запросы через DNS-серверы оператора мобильной связи, что исключает утечку DNS-данных.

Протокол SOCKS5 также поддерживает ретрансляцию пакетов UDP (RFC 1928, раздел 4). Это делает его единственным подходящим вариантом при автоматизации работы программного обеспечения VoIP, игровых движков, приложений потоковой передачи данных WebRTC или пользовательских утилит сокетов, которые взаимодействуют с помощью необработанных датаграмм, а не потоков TCP.

В средах скрейпинга с высокой пропускной способностью компактный двоичный формат заголовков SOCKS5 снижает накладные расходы на сериализацию байтов по сравнению с развернутыми HTTP-заголовками в формате ASCII. В случае долгосрочных сокет-соединений это приводит к снижению нагрузки на ЦП на распределенных рабочих узлах.

Таблица сравнения протоколов

Сравните технические возможности и эксплуатационные характеристики всех трёх основных протоколов прокси, приведённых ниже:

Какой протокол следует использовать?

Оба протокола демонстрируют исключительно высокую производительность при работе через сотовые соединения. Воспользуйтесь следующими техническими рекомендациями, чтобы определить оптимальный протокол для вашей рабочей нагрузки:

• Используйте HTTPS (HTTP CONNECT) в следующих случаях: Вы используете стандартные библиотеки для веб-парсинга (requests, httpx, axios) или просматриваете веб-сайты в стандартных браузерах. Протокол HTTPS CONNECT гарантирует сквозное шифрование, изначально предотвращает утечки DNS и бесперебойно работает со всеми коммерческими прокси-серверами.
• Используйте SOCKS5 в следующих случаях: Вы перенаправляете трафик, не относящийся к HTTP (например, пользовательские TCP-утилиты, SSH или игровые клиенты), используете браузеры с функцией обхода блокировок (Multilogin, AdsPower, GoLogin), которые предпочитают бинарные прокси-сокеты, или вам требуется передача UDP-пакетов. Всегда проверяйте, использует ли ваш клиент протокол socks5h://, чтобы гарантировать разрешение DNS удаленным провайдером.
• Не следует использовать простой HTTP в следующих случаях: Передача конфиденциальных учетных данных, файлов cookie авторизации или личных данных через общедоступные сети. Поскольку в стандартном протоколе HTTP отсутствует шифрование между вашим клиентом и прокси-шлюзом, промежуточные сети могут просматривать содержимое передаваемых данных.

Ниже приведён пример кода на языке Python, демонстрирующий, как проверить подключение и убедиться в правильном преобразовании IP-адресов публичных провайдеров при использовании обоих протоколов:

import requests

# Option 1: HTTP CONNECT tunnel
http_proxies = {
    "http": "http://user:pass@fr1.pxm2.io:10001",
    "https": "http://user:pass@fr1.pxm2.io:10001",
}
r1 = requests.get("https://ipinfo.io/json", proxies=http_proxies, timeout=10)

# Option 2: SOCKS5 with remote DNS resolution (socks5h://)
socks_proxies = {
    "http": "socks5h://user:pass@fr1.pxm2.io:10001",
    "https": "socks5h://user:pass@fr1.pxm2.io:10001",
}
r2 = requests.get("https://ipinfo.io/json", proxies=socks_proxies, timeout=10)

print(f"HTTP CONNECT IP: {r1.json().get('ip')}")
print(f"SOCKS5h IP:      {r2.json().get('ip')}")

Внедрите высокоскоростные мобильные прокси уже сегодня

Подключайтесь по протоколам HTTP, HTTPS или SOCKS5 через выделенные модемы на ведущих мировых рынках сотовой связи:

Часто задаваемые вопросы

Связанные руководства по мобильным прокси-серверам