Узнайте, как работают прокси-серверы: Руководство по протоколам
Независимое от поставщиков руководство по прокси-серверам, в котором основное внимание уделяется протоколам: как посредники маршрутизируют пакеты, почему важно местоположение источника IP-адреса, сравнение спецификаций передачи данных по протоколам HTTP и SOCKS5, а также в каких случаях прокси-сервер вовсе не подходит в качестве инструмента.
Четыре объяснителя
Номера присвоены в порядке чтения, а не по популярности: сначала дается определение термина, затем — адреса, далее — протокола, а в конце — альтернативы. Каждая страница, начиная со второй, опирается на терминологию, введенную на первой странице, — но каждая из них понятна сама по себе, если вы уже знаете, за чем пришли.
Определение и происхождение
Что представляет собой прокси-сервер на уровне протоколов, какие изменения происходят в канале передачи данных, а также четыре сетевых источника, из которых может происходить адрес.
Что такое прокси-сервер?
В протоколе HTTP прокси — это выбранный клиентом посредник, обеспечивающий пересылку сообщений. Что на самом деле меняется в канале передачи данных при использовании прямой и обратной прокси, прозрачной, анонимной и элитной прокси, а также что не является прокси.
Ознакомьтесь с разъяснениемТипы прокси-серверов по происхождению IP-адреса
Сравнение прокси-серверов из центров обработки данных, статических прокси-серверов от интернет-провайдеров для частных пользователей, пиринговых прокси-серверов для частных пользователей и мобильных прокси-серверов по критерию происхождения: кому принадлежит адрес, кто ещё им пользуется, а также алгоритм из 4 шагов для проверки того, что вам действительно продали.
Ознакомьтесь с разъяснениемПротокол и сфера применения
Какой протокол используется для связи с прокси-сервером, как осуществляется аутентификация и как работает DNS, а также чем прокси-сервер отличается от общесистемного VPN-туннеля.
HTTP против SOCKS5-прокси
Сравнение HTTP CONNECT и SOCKS5 на уровне байтов: количество циклов обмена данными до передачи первого байта, отставание байта ATYP по сравнению с SOCKS5h, способы аутентификации в каждом протоколе и причины, по которым ни один из них не шифрует соединение с прокси-сервером.
Ознакомьтесь с разъяснениемРазличия между прокси и VPN
Область применения, модель угроз и «внутренняя архитектура»: где каждое из этих элементов встраивается в ОС, что именно шифруется на каком этапе, почему только прокси-сервер позволяет использовать несколько идентичностей одновременно и какая из них нужна для решения вашей задачи.
Ознакомьтесь с разъяснениемЧетыре оси, одно перегруженное слово
Практически любой спор о «типах прокси» на самом деле сводится к четырём отдельным вопросам, объединенным одним названием. Они не связаны между собой: один и тот же IP-адрес регулярно продаётся по обоим протоколам, а ротация адресов не даёт никакой информации о том, откуда этот адрес взялся. Два из этих аспектов рассматриваются здесь; два других касаются решений о покупке и решаются в коммерческом центре.
Прямой ход против заднего хода
Кто выбирает прокси-сервер. Прямой прокси-сервер выбирается клиентом для изменения своей идентификации при исходящем трафике; обратный прокси-сервер выбирается сайтом для защиты и распределения нагрузки на исходный сервер.
Руководство по движению вперёд и назадОткуда берет начало IP-адрес
Кто зарегистрировал этот адрес: хостинг-провайдер, розничный интернет-провайдер, разместивший оборудование в стойке дата-центра, обычное домашнее хозяйство или оператор мобильной связи, использующий CGNAT.
Сравнение четырёх источников IP-адресовНа каком протоколе вы общаетесь?
HTTP CONNECT или SOCKS5. Оба протокола используют туннелирование TCP, однако SOCKS5 может передавать UDP-пакеты и согласовывает свои учетные данные в двоичном формате, а не через HTTP-заголовки.
Сравнение протоколов HTTP и SOCKS5Область действия сокета и область действия системы
Независимо от того, направляется ли трафик по сокету каждого приложения (прокси) или собирается в масштабе всей системы в виртуальный сетевой интерфейс (VPN).
Различия между прокси и VPNС чего начать?
Найдите фразу, которая вам по душе, и следуйте ей. Некоторые из этих путей полностью уводят от этого принципа — в этом-то и суть.
| Где вы находитесь сейчас | Краткий ответ | Прочитайте это |
|---|---|---|
| Вы впервые задаете вопрос о том, что такое прокси | Начнём с определения протокола и сравнения прямой и обратной архитектуры | Что такое прокси-сервер? → |
| Вам необходимо выбрать один из следующих типов IP-адресов: IP-адреса центров обработки данных, IP-адреса частных сетей, IP-адреса интернет-провайдеров или мобильные IP-адреса | Сравните четыре источника IP-адресов по репутации ASN и проверьте, что именно вы приобрели | Типы прокси-серверов по происхождению IP-адреса → |
| Ваш клиент запрашивает HTTP или SOCKS5, а вы не знаете, что выбрать | Следуйте схеме принятия решений из 4 шагов и проверьте наличие рисков утечки DNS | HTTP против SOCKS5-прокси → |
| Вы хотите защитить несколько аккаунтов, не подвергая своё устройство блокировке | VPN обеспечивает единую идентичность; узнайте, почему для автоматизации требуются прокси-сокеты | Различия между прокси и VPN → |
| Вы уже знаете, что вам нужен мобильный прокси на реальной SIM-карте | Пропустите вводную часть и узнайте, как работает ротация IP-адресов у мобильных операторов | Что такое мобильный прокси? → |
Почему IP-адреса мобильных операторов отличаются от остальных
Как только вы разберетесь с четырьмя вышеупомянутыми аспектами, причина, по которой антибот-системы по-разному обрабатывают адреса мобильных операторов, станет скорее механической, чем загадочной.
Адреса операторов находятся за NAT операторского класса и используются совместно с тысячами реальных абонентов. Для целевого сервера ваш трафик выглядит точно так же, как обычный мобильный просмотр веб-страниц — ведь этот IP-блок действительно используется обычными мобильными браузерами.
Модем может отказаться от своего текущего адреса и получить новый из пула оператора менее чем за 15 секунд с помощью простого вызова API. Отсутствие фиксированного адреса означает отсутствие постоянного блокирования: IP-адрес, помеченный как подозрительный, просто заменяется, а не изымается из обращения.
Модели обнаружения мошенничества, обученные на данных ASN, типах ASN и репутации IP-адресов, неизменно присваивают диапазонам мобильных операторов более высокие оценки, чем диапазонам центров обработки данных, поскольку они действительно ежедневно используются миллионами легитимных пользователей.
Выбор протокола зависит от вас, а не от модема. Каждый порт PXM2 отвечает как на запросы HTTP CONNECT, так и на SOCKS5, поэтому вы можете настроить протокол, необходимый вашему стеку, без необходимости заказывать отдельный SKU для каждого из них.
Более подробное рассмотрение вопроса — как CGNAT оператора связи соотносится с CGNAT, используемым в дата-центрах, у интернет-провайдеров и в домашних сетях — приводится в: Что такое мобильный прокси?, Центры обработки данных и мобильные прокси-серверы, Центр типов прокси.
Начните работу с прокси-серверами реальных операторов связи
Готовы протестировать IP-адрес реального оператора? PXM2 использует выделенные модемы 4G и 5G в нескольких странах:
Великобритания
Испания
Индия
Часто задаваемые вопросы
В чём разница между прокси-сервером и VPN?
Прокси работает на уровне отдельного приложения или сокета, перенаправляя только трафик от программ, явно настроенных на его использование (например, профиль браузера или скрипт для сбора данных). VPN работает на уровне операционной системы, перехватывая и шифруя весь трафик устройства через виртуальный сетевой интерфейс. Прокси лучше всего подходят для автоматизации с использованием нескольких идентичностей; VPN — для шифрования всего трафика устройства.
В чём заключается разница между прокси-серверами HTTP и SOCKS5?
HTTP-прокси работают на прикладном уровне и могут анализировать или туннелировать HTTP/HTTPS-трафик с использованием метода CONNECT. SOCKS5 работает на сессионном уровне (уровень 5), ретранслируя произвольные потоки TCP и датаграммы UDP без проверки содержимого полезных данных. SOCKS5 с удалённым DNS (socks5h) также предотвращает утечки локального DNS.
Почему веб-сайты обнаруживают и блокируют прокси-серверы из дата-центров?
Прокси-серверы центров обработки данных относятся к номерам автономных систем (ASN), принадлежащим поставщикам облачного хостинга (например, AWS, Hetzner, DigitalOcean). Системы защиты от ботов обращаются к базам данных IP-аналитики и сразу же присваивают высокие показатели риска запросам, поступающим из серверных стоек, а не от провайдеров домашнего или мобильного интернета.
Почему мобильные прокси считаются более надежными, чем домашние прокси?
Мобильные прокси-серверы маршрутизируют трафик через реальные модемы сотовых операторов, которые используют общие пулы Carrier-Grade NAT (CGNAT) совместно с сотнями тысяч пользователей смартфонов. Целевые сайты не могут без труда заблокировать мобильный IP-адрес, не заблокировав при этом ни в чем не повинных абонентов сотовой связи, благодаря чему мобильные прокси-серверы обладают самым высоким показателем доверия среди всех типов прокси-серверов.
Может ли прокси-сервер увидеть мои пароли и данные кредитной карты?
Когда вы подключаетесь к веб-сайту HTTPS через прокси с использованием метода HTTP CONNECT или протокола SOCKS5, между вашим браузером и целевым сервером устанавливается TLS-туннель со сквозным шифрованием. Прокси видит только хост и порт назначения; он не может расшифровать или прочитать ваши пароли, токены или данные, отправляемые через формы.
Как только словарный запас будет сформирован
На этих страницах исходят из приведённых выше определений и подробно рассматривают IP-адреса мобильных операторов: как они работают, какой тип приобрести и как их протестировать.
Решили, что Mobile IP — это то, что вам нужно?
Специализированные модемы 4G и 5G на SIM-картах реальных операторов связи с неограниченной пропускной способностью, неограниченным количеством переключений и поддержкой протоколов HTTP и SOCKS5 на всех портах.
Просмотр мобильных прокси-серверов