Типы прокси-серверов: центры обработки данных, интернет-провайдеры, частные и мобильные

«Тип прокси» — это четыре вопроса под одним названием. На этой странице дается ответ на вопрос о происхождении IP-адреса.

Каждый прокси-сервер имеет значения сразу по четырём независимым свойствам, и термин «тип» используется для обозначения всех четырёх без различия. Именно поэтому покупатель может запросить одно, приобрести то, что действительно соответствует указанному им типу, и всё равно получить адрес, который не соответствует тому свойству, которое для него действительно важно.

Четыре вопроса и то, где каждый из них решается:

• Происхождение — на чьё имя зарегистрирован выходной адрес: на хостинг-провайдера, потребительского интернет-провайдера, частное лицо или оператора мобильной связи. На этой странице даётся ответ именно на этот вопрос и ни на что другое.
• Протокол — то, как ваш клиент взаимодействует с прокси: HTTP/HTTPS или SOCKS5, как определено в RFC 1928, который по соглашению прослушивает TCP-порт 1080. Остановились на Прокси-серверы HTTP и SOCKS5.
• Поведение заголовка — прозрачный, анонимный или элитный — то есть то, как прокси обрабатывает заголовок «Forwarded», стандартизированный в RFC 7239, и более старый заголовок «X-Forwarded-For», описанный в этом документе. Этот вопрос, а также различие между прямой и обратной пересылкой, урегулированы в Что такое прокси-сервер?.
• Характеристики соединения — вращающийся, выделенный, статический, общий или обратный. Остановка на Центр типов прокси, который сортирует мобильные прокси по поведению адреса, а не по его источнику.

Это четыре оси, а не четыре категории в одном списке — один и тот же прокси-сервер может находиться на всех них одновременно. Мобильный IP-адрес может предоставляться по протоколу SOCKS5 или HTTP, быть выделенным или сменяться по таймеру, и при этом он всегда остается мобильным IP-адресом. «Источник» — это та ось, с которой стоит начать знакомство по одной-единственной причине: это единственное свойство, которое вы можете проверить самостоятельно, со стороны, не доверяя ничему из того, что продавец написал на странице продукта.

Четыре версии «Origins» рядом — и как проверить, какую из них вы на самом деле купили

В большинстве сравнений этих четырёх ресурсов их сортируют по цене и по уровню доверия со стороны целевой аудитории. Оба этих критерия имеют реальное значение, но в обоих случаях речь идёт о чужом мнении об адресе. Ниже они, напротив, отсортированы по происхождению — по фактам, зафиксированным в открытых реестрах, которые можно проверить для любого адреса примерно за минуту.

В этой таблице намеренно не указаны: стоимость, для чего лучше всего подходит каждый уровень и в чём у каждого из них есть недостатки. Это уже другое сравнение с другим результатом, и оно подробно рассматривается в Выбор уровня прокси для веб-парсинга а для двух уровней, расположенных наиболее далеко друг от друга, на Прокси-серверы в дата-центрах и мобильные прокси. В этой таблице объясняется, что такое адрес; а вот что это значит — судите сами.

Последняя колонка — это не мнение, а поле базы данных

Эта таксономия заслуживает доверия именно потому, что она не является маркетинговым придуманным термином. Коммерческие базы данных по IP-аналитике предоставляют её в виде поля с заданным типом. База данных MaxMind Enterprise предоставляет user_type в число которых входят: бизнес, кафе, сотовая связь, вуз, сеть защиты конфиденциальности пользователей, сеть доставки контента, государственные учреждения, хостинг, библиотека, военные, жилой сектор, маршрутизатор, школа, поисковый робот и путешественник — а также отдельный connection_type а именно: кабельное/DSL-соединение, сотовая связь, корпоративная сеть или спутниковая связь. Хостинг, частные пользователи и сотовая связь — это три из четырёх источников, указанных на этой странице, которые входят в фиксированный перечень, запросы к которому поставщики решений для борьбы с ботами, рекламные платформы и системы защиты от мошенничества отправляют миллионы раз в день.

Именно это делает проверку оси происхождения реальной, а не чисто риторической. Когда целевая система классифицирует ваш трафик, она считывает именно такие поля. И вы тоже можете это сделать.

Четыре факта, подтверждающие то, что вам продали

1. Получить адрес выхода

   Отправьте один запрос через прокси на любой конечный узел IP-echo и запишите полученный ответ. Все остальное зависит от этого адреса, а не от имени хоста, к которому вы подключаетесь — собственный адрес шлюза обратного соединения ничего не говорит о выходе.

2. Ознакомьтесь с объявлением ASN и типом его организации

   Тот, кто объявляет маршрут в глобальной таблице, и является сетью, из которой на самом деле уходит трафик. Название AS-провайдера в данном случае разрешает вопрос в отношении первой и второй линий на приведенной выше схеме, независимо от того, что указано в записи WHOIS.

3. Ознакомьтесь с записью об организации, содержащейся в реестре

   Запросите информацию об этом блоке в RIR и обратите внимание на поля «organisation» и «netname». Именно для такой «жилой» регистрации и приобретается прокси-сервер у интернет-провайдера — и именно здесь адрес дата-центра, рекламируемый как «жилой», сразу же выдаёт себя.

4. Ознакомьтесь с классификацией IP-данных и обратным DNS

   Поле классификации — это то, что ваша целевая аудитория, скорее всего, увидит. Обратный DNS служит бесплатным подтверждением: хостинг-стенды имеют имена, построенные по структурированным, последовательным шаблонам, тогда как адреса частных пользователей и операторов связи обычно разрешаются либо в общий шаблон оператора, либо вообще никуда.

# 1 — what address does the proxy actually exit from?
curl -s --proxy http://user:pass@proxy.example.net:8000 https://api.ipify.org
# 203.0.113.45

# 2 — which ASN announces it, and who owns that ASN?
whois -h whois.cymru.com " -v 203.0.113.45"
# AS     | IP            | AS Name
# 64500  | 203.0.113.45  | EXAMPLE-HOSTING, US

# 3 — what does the registry say the block is assigned to?
whois 203.0.113.45 | grep -Ei "^(org-name|OrgName|netname|descr)"

# 4 — reverse DNS: racks name themselves, homes rarely do
dig +short -x 203.0.113.45

Если вы предпочитаете не выполнять эти команды, то Программа проверки прокси-серверов PXM2 возвращает адрес выхода и данные о его интернет-провайдере для прокси-сервера, адрес которого вы вставили, что соответствует шагам 1 и 3 в браузере.

Прокси-серверы в дата-центрах: адреса, полностью принадлежащие хостинг-провайдеру

Прокси-сервер в центре обработки данных определяется не скоростью работы и не тем, что он размещен на сервере. Его определяет одно: организация, указанная в записи реестра, является хостинг-провайдером или облачным оператором, и именно эта компания объявляет маршрут. Регистрационные данные и сетевая информация совпадают. Ничего не скрывается, потому что это и не предполагается.

Именно благодаря этому соглашению данный уровень отличается изобилием. Хостинг-компания может приобретать смежные блоки на открытом рынке адресов и сразу же задействовать их, поэтому предложение растёт пропорционально спросу, а не количеству реальных домохозяйств или абонентов — ведь ни домохозяйства, ни абоненты здесь вообще не участвуют.

Именно поэтому идентификация происходит массово. Адреса поступают непрерывными блоками, поэтому классификация, как правило, применяется к блоку, а не к отдельному адресу: соседние адреса в пределах одного диапазона определяют, как будет обрабатываться ваш адрес, ещё до того, как вы отправите хотя бы один запрос. Это связано с особенностями распределения адресного пространства, а не с оценкой вашего трафика.

Прокси-серверы интернет-провайдеров: регистрация под частным адресом, прокладка кабельной сети в центре обработки данных

Прокси-сервер интернет-провайдера — это намеренное разделение двух элементов, которые обычно существуют вместе. В записи реестра указан потребительский интернет-провайдер — то есть организация, предоставляющая широкополосный доступ в Интернет для домашних пользователей. Маршрут объявляется с хостинг-стойки провайдера. Регистрация и сеть намеренно не совпадают, и именно в этом несоответствии и заключается суть продукта.

Из этого непосредственно вытекает ценностное предложение: когда целевой пользователь выполняет запрос, он получает ту же классификацию, что и настоящие розничные клиенты данного интернет-провайдера, без каких-либо признаков хостинга. Провайдер не сдает вам в аренду домашнее подключение. Он сдает вам в аренду регистрацию.

Такая постановка вопроса объясняет то, что вызывает у покупателей недоумение в отношении данного уровня: предложение ограничено, а цены значительно превышают стоимость обычного хостинг-пространства. Нехватка IPv4-адресов, выделенных потребителям интернет-провайдерами, обусловлена структурными причинами: у региональных реестров больше не осталось адресов для распределения. RIPE NCC произвело последнее выделение блока /22 25 ноября 2019 года и с тех пор работает по системе списка ожидания. Новый адресный пространство, зарегистрированный на имя интернет-провайдера, создать невозможно — он может только переходить из рук в руки. Провайдер, формирующий пул адресов, конкурирует за фиксированный запас записей, что представляет собой совершенно иную проблему предложения, чем установка еще одного сервера в стойку.

Обратите внимание, что термин «статический» в данном контексте относится к операциям, связанным с источником, но на самом деле означает утверждение о ротации, которое представляет собой отдельную ось: адрес может быть статическим и зарегистрированным в центре обработки данных либо статическим и выданным оператором связи, как в случае с статические мобильные прокси. Не следует воспринимать обещание стабильности как утверждение о происхождении.

Прокси-серверы для домашнего использования: подключение к сети чужого дома, используемое с согласия владельца

«Residential» — это единственный источник, цепочка поставок которого связана с вопросом согласия, а не с закупками. Остальные три элемента приобретаются: место в серверном шкафу, запись в реестре, SIM-карта и модем. Пул «Residential» нельзя приобрести, поскольку адреса принадлежат домохозяйствам, которые никогда ничего не продавали.

Доминирующей моделью получения трафика является модель «peer-to-peer». В потребительское приложение встраивается прокси-SDK, и владелец устройства дает согласие — как правило, в обмен на оплату, доступ к версии без рекламы или разблокированные премиум-функции — на ретрансляцию трафика других пользователей, пока устройство находится в режиме ожидания и подключено к Интернету. При покупке домашнего доступа к Интернету вы соглашаетесь именно на такие условия, по одному устройству за раз.

Из этого вытекают три следствия, и ни одно из них не относится к маркетингу:

• Состав пула и время его работы не зависят от провайдера, а значит, и от вас. Никто не может запланировать, когда включится ноутбук незнакомого человека.
• Сеанс может прерваться в середине, например, если телефон вышел из зоны покрытия или ноутбук был закрыт. Продолжительность сеанса зависит от графика человека, а не от вашего тарифного плана.
• Раскрытие информации об источниках — это реальный документ, и вам следует запросить его по названию, прежде чем принимать обязательства по объемам. Вам необходимо убедиться, что согласие является явным, отзывным и не скрыто за «темным паттерном» в процессе установки.

Этот последний пункт — не просто формальность. Качество согласия — это то, что полностью отличает законный «жилой пул» от пула, сформированного из пользователей, которые так и не поняли, на что они согласились, — и это вопрос, касающийся поставщика, а не технологии. Поставщик, который не может описать модель привлечения участников в письменной форме, тем самым уже дал на него ответ.

Мобильные прокси: адреса, выделенные операторами связи, используемые совместно за CGNAT

С точки зрения происхождения мобильный прокси представляет собой два регистрационных факта и ничего больше. Объявляющий ASN принадлежит оператору мобильной сети, а адрес находится на публичной стороне NAT оператора связи — именно для этой схемы развертывания в RFC 6598, опубликованном в апреле 2012 года как BCP 153, был зарезервирован диапазон 100.64.0.0/10. В этом RFC необычно прямо объясняется причина его существования: адресный пространство IPv4 почти исчерпано, интернет-провайдеры должны продолжать поддерживать рост IPv4 до полного развертывания IPv6, и ни один реестр не может предоставить каждому поставщику услуг уникальное пространство для его абонентов.

Вот и всё — определение происхождения в полном объёме. А тот вывод, который на самом деле волнует людей — а именно то, что адрес, которым пользуются сотни подлинных подписчиков, при тщательной проверке ведёт себя иначе, чем адрес, принадлежащий только вам, — это скорее аргумент в пользу доверия, чем факт происхождения, и на этом сайте он подробно излагается в другом месте:

• Что такое мобильный прокси? — случай с доверием и почему адреса операторов оцениваются именно таким образом.
• Как работают мобильные прокси — путь запроса от начала до конца, а также механизм, лежащий в основе ротации адресов.
• Типы прокси — и как только мобильное устройство станет правильным источником, нужно определиться, какой вариант поведения выбрать: ротационный, выделенный, статический, общий или backconnect. Это и есть ось подключения, и это вопрос, действительно отличающийся от того, что рассматривается на этой странице.

Суть заключается в передаче. «Происхождение» подсказывает, какой тип адреса следует приобрести. «Поведение» подсказывает, как этот адрес должен функционировать после его приобретения. Ответ на первый вопрос не отвечает на второй, и покупатель, остановившийся на этом, выполнил лишь половину работы.

Сравнение мобильных прокси операторского класса

Ищете уровень безопасности с максимальным уровнем доверия? PXM2 предоставляет выделенные мобильные модемы 4G/5G с реальными IP-адресами операторов связи:

Часто задаваемые вопросы

Связанные руководства

Основы работы с прокси-серверами

Основные руководства по мобильным прокси-серверам