Мобильный прокси Руководства по настройке
Пошаговые инструкции по подключению мобильного прокси к любой используемой вами платформе — Windows, macOS и Linux, командной строке, Python и Node.js, контейнерам, а также настройки сеансов, ротации и мониторинга, которые обеспечат его бесперебойную работу в дальнейшем.
Руководства по настройке по темам
Четыре группы, упорядоченные в соответствии с реальным порядком выполнения настроек: сначала подключение, затем настройка оборудования, далее написание кода и, наконец, все, что обеспечивает его бесперебойную работу.
Группировка имеет большее значение, чем кажется на первый взгляд. Настройка прокси для взаимодействия с одной вкладкой браузера и его интеграция в скрейпер на Python или контейнер Docker — это разные задачи, которые объединяют лишь четыре поля для ввода учетных данных; всё, что происходит дальше, зависит от того, на каком уровне формируется исходящий запрос. Руководство по настройке прокси в Windows не поможет functions requests.Session(), который полностью игнорирует операционную систему, а SOCKS5-агент Node.js не исправит проблему с командой curl, запущенной из командной строки той же машины. Выбирайте группу, соответствующую месту фактического происхождения вашего запроса, а не инструменту, с которым вам удобнее всего работать.
Каждое из приведенных ниже руководств представляет собой самостоятельный блок, включающий в себя учетные данные, точный синтаксис для данного языка или платформы, а также этап проверки. Вам не обязательно читать их по порядку, но если вы впервые используете мобильный прокси, начните с раздела «Подключение и аутентификация», прежде чем переходить к конкретному языку — синтаксис везде различается, но четыре параметра, которые он использует (хост, порт, имя пользователя, пароль), остаются неизменными.
Введение в мобильные прокси-серверы
Ваше первое подключение: что означают учетные данные, как пройти аутентификацию и как убедиться, что трафик действительно проходит через IP-адрес оператора, за который вы заплатили.
Руководства по платформам
Общесистемные и отдельные для каждого приложения настройки прокси в Windows, macOS и Linux — включая те настройки, которые незаметно не распространяются на все приложения.
Настройка мобильного прокси в Windows
→В Windows существует два независимых стека прокси-серверов — страница «Параметры» обращается к одному из них. Какие приложения используют тот или иной стек и как настроить оба.
Настройка мобильного прокси в macOS
→Панель «Прокси» относится к одной сетевой службе, а не к самому Mac. Safari полностью следует её настройкам, Терминал полностью игнорирует их, а программа «Настройка сети» использует их в своих скриптах.
Настройка мобильного прокси в Linux
→Переменные среды и сфера их действия, почему sudo и apt игнорируют их, а также использование proxychains для программ, которые вообще не поддерживают прокси.
Руководства по языкам и платформам
Интеграция прокси в инструменты, которые вы фактически используете для разработки: командная строка, Python, Node.js и контейнерные рабочие нагрузки.
Руководства в этой группе находятся в стадии разработки. Пока что приведенный выше обзор настройки охватывает основные моменты.
Расширенные настройки
Сессии, ротация, TLS, брандмауэры и мониторинг — настройки, обеспечивающие бесперебойную работу прокси-сервера после начала обработки реального трафика.
Руководства в этой группе находятся в стадии разработки. Пока что приведенный выше обзор настройки охватывает основные моменты.
С чего начать?
Проблемы с настройкой редко связаны с прокси-сервером. Они зависят от того, какой уровень вы настроили — операционную систему, среду выполнения или отдельное приложение — и от того, именно этот ли уровень отправляет запрос.
| Что вы хотите сделать | С чего начать | Руководство |
|---|---|---|
| Подключение прокси-сервера впервые | Начните с обзора настроек | Как настроить мобильные прокси-серверы |
| Прежде чем настраивать вращение, необходимо понять, как оно работает | Сначала ознакомьтесь с принципом действия | Как работают мобильные прокси |
| Вызов прокси из Python | Прокси-словари, сеансы и ротация | Сбор данных с помощью мобильного прокси на Python |
| Запустить настоящий браузер через прокси-сервер | Прокси на уровне контекста и «ловушка 407» | Мобильный прокси с использованием Selenium и Playwright |
| Определите, какой уровень прокси вам действительно нужен | Сравните четыре уровня по стоимости и уровню доверия | Лучшие мобильные прокси для веб-парсинга |
Настройте самый узкий уровень, который решает вашу проблему. Настройка прокси на уровне всей системы выглядит аккуратно, но удивительно много приложений просто игнорируют её — в частности, утилиты командной строки считывают только свои собственные переменные среды и ничего больше. Настройка прокси непосредственно в утилите, отправляющей запрос, приводит к меньшему количеству сбоев, чем единая настройка для всего компьютера.
Прочитать сообщение об ошибке, а не гадать
Ошибка прокси почти всегда указывает, на каком уровне произошла ошибка, если прочитать текст дальше первой строки.
- 407 Требуется аутентификация прокси-сервера — Запрос достиг прокси-сервера, но учетные данные в нём отсутствовали, были некорректно сформированы или отправлены на неправильный порт. Сначала проверьте протокол: при отправке учетных данных HTTP на порт SOCKS5 выдаётся именно эта ошибка.
- Соединение отклонено или истек тайм-аут — Запрос вообще не дошел до прокси-сервера. Практически всегда это связано с брандмауэром, опечаткой в имени хоста или номере порта либо с тем, что корпоративная сеть полностью блокирует исходящие соединения по этому порту.
- Работает в браузере, не работает в коде — Расширение браузера или системная настройка, с помощью которых вы проводили тестирование, не соответствуют конфигурации, которую считывает ваш скрипт. Переменные среды, аргументы прокси на уровне библиотек и настройки ОС — это три отдельных места, и только одно из них подключено к вашему коду.
- Подключается, но возвращает неверный IP-адрес — Трафик обходит прокси по крайней мере в части запроса — как правило, это разрешение DNS, которое происходит локально, а не через туннель. См. примечание о SOCKS5 ниже.
Проверьте работу прокси, прежде чем вносить изменения в приложение
Curl — это самый быстрый способ отделить прокси от всего остального, что вы разрабатываете, поскольку у него нет собственной прикладной логики, которую можно было бы обвинить в неполадках. Один-единственный запрос к конечной точке IP-echo, в котором хост, порт, имя пользователя и пароль передаются напрямую в командной строке, либо возвращает IP-адрес прокси, либо нет — здесь нет промежуточного уровня, который можно было бы настроить неверно. Если этот запрос завершится сбоем, проблема заключается в учетных данных или сетевом пути, а не в вашем скрейпере, и вы избавили себя от необходимости отлаживать две системы одновременно. PXM2's бесплатный сервис проверки прокси-серверов выполняет аналогичную проверку из браузера, без использования терминала.
Что общего у всех конфигураций
Независимо от того, что вы настраиваете, от тех же четырёх факторов зависит, будет ли соединение работать.
- Четыре значения и никакого программного обеспечения — Хост, порт, имя пользователя и пароль. Мобильный прокси представляет собой стандартный конечный узел HTTP или SOCKS5, поэтому не требуется устанавливать клиентское ПО или интегрировать SDK.
- Формат должен соответствовать инструменту — Одни и те же учетные данные могут быть указаны в формате «хост:порт:пользователь:пароль», в виде URL-адреса http://user:pass@host:port или в виде четырёх отдельных полей. Вставка одного символа вместо другого — самая распространённая причина отказа в входе в систему.
- HTTP и SOCKS5 используют разные порты — В PXM2 у каждого протокола есть свой порт и своя пара учетных данных. Даже абсолютно верные учетные данные для входа по HTTP, отправленные на порт SOCKS5, приводят к сбою, и возвращаемая ошибка выглядит точно так же, как при вводе неправильного пароля.
- Проверьте перед сборкой — Один запрос, в ответе на который указывается ваш исходящий IP-адрес, позволит определить, передаёт ли прокси трафик вообще. Пропуск этого шага означает одновременную отладку вашего приложения и прокси-сервера.
Вы совсем новичок в мире мобильных прокси? Прочитайте что такое мобильный прокси и как работают мобильные прокси Во-первых — приведенная ниже конфигурация впоследствии будет гораздо понятнее.
Имя пользователя и пароль, а не белый список IP-адресов
Прокси-серверы из центров обработки данных и домашние прокси обычно предлагают выбор между аутентификацией по имени пользователя и паролю и белым списком IP-адресов, при котором прокси принимает любой трафик, поступающий с заранее одобренного статического IP-адреса. Мобильные прокси по умолчанию используют аутентификацию по имени пользователя и паролю по конструктивной причине: суть подключения через оператора связи заключается в том, что исходящий IP-адрес меняется поочередно, поэтому нет статического адреса, который можно было бы внести в белый список. Если в каком-либо руководстве, найденном вами в другом месте, предполагается, что доступен белый список IP-адресов, то оно было написано для другого типа прокси.
socks5:// и socks5h:// — разница, которая выводит из строя скрейперы
Большинство библиотек SOCKS5 поддерживают две схемы URL, которые на первый взгляд кажутся взаимозаменяемыми, но на самом деле таковыми не являются. socks5:// сначала разрешает имя хоста на вашем собственном компьютере и отправляет через прокси только полученный IP-адрес — таким образом, DNS-запросы и любая информация, которую можно из них извлечь, никогда не попадают в мобильную сеть. socks5h:// отправляет само имя хоста через прокси и позволяет ему разрешать DNS на стороне оператора. Для веб-парсинга и гео-тестирования это не мелочь: локальное разрешение DNS может вернуть крайний узел CDN, соответствующий вашему реальному местоположению, а не прокси-сервера, тем самым незаметно сводя на нет саму цель использования мобильного прокси. По умолчанию используйте socks5h://, если только в документации конкретного инструмента не указано иное.
Вращение — это настройка, а не этап
Для подключения к мобильному прокси-серверу не требуется никаких настроек ротации — новая сессия на фиксированном порте сохраняет IP-адрес оператора связи до тех пор, пока вы не укажете иное. Ротация настраивается отдельно — либо по таймеру, либо через конечную точку ротации, доступную в вашей учётной записи, — и применяется поверх уже правильно аутентифицированного соединения. Сначала проверьте учетные данные, оставив настройки ротации по умолчанию; добавление второй переменной до того, как будет подтверждено, что первая работает, лишь удваивает количество возможных причин сбоя.
Получите прокси, чтобы воспользоваться этими инструкциями
Активные точки доступа PXM2 — выберите страну, в которой вам нужен выходной IP-адрес, и получите выделенный прокси-сервер 4G/5G с неограниченной пропускной способностью и возможностью смены серверов:
Великобритания
Испания
Индия
Часто задаваемые вопросы
Как настроить мобильный прокси?
Вам предоставляются четыре параметра — хост, порт, имя пользователя и пароль — и вы вводите их там, где используемый вами инструмент ожидает указания прокси. Устанавливать ничего не нужно: мобильный прокси представляет собой обычный конечный узел HTTP или SOCKS5, поэтому браузеры, скрипты, телефоны и браузеры с функцией защиты от обнаружения взаимодействуют с ним напрямую. Единственное, с чем пользователи действительно часто ошибаются, — это формат, в котором нужно вводить эти четыре значения, который различается в зависимости от инструмента.
Нужно ли устанавливать программное обеспечение для использования мобильного прокси?
Нет. Каждая операционная система, браузер и HTTP-клиент уже умеют взаимодействовать с прокси, поэтому конечная точка PXM2 работает с тем программным обеспечением, которое у вас уже есть. Приложения для управления прокси и браузеры с функцией защиты от обнаружения — это удобные инструменты для управления большим количеством конечных точек или профилей, а не обязательные условия для использования одной из них.
В чём заключается разница между портами HTTP и SOCKS5?
HTTP-прокси анализируют проходящие через них запросы и могут открывать туннель CONNECT для HTTPS; SOCKS5 перенаправляет необработанный TCP-трафик без его проверки, поэтому он поддерживает протоколы, недоступные для веб-прокси. В PXM2 это два отдельных порта на одном прокси, каждый со своим именем пользователя и паролем — эту деталь стоит проверить в первую очередь, если учетные данные, которые кажутся правильными, отклоняются.
Как проверить, работает ли мой мобильный прокси?
Отправьте через него один запрос к сервису, который возвращает ваш публичный IP-адрес, и сравните полученный ответ с вашим реальным адресом. Если они различаются, а возвращённый адрес принадлежит тому же оператору связи и той же стране, что и у вас, значит, прокси-сервер пропускает ваш трафик. Бесплатный инструмент проверки прокси-серверов PXM2 выполняет именно это, а также сообщает об обнаруженном типе прокси.
Можно ли использовать один мобильный прокси на нескольких устройствах?
Технически да — конечной точке всё равно, сколько клиентов подключается. А стоит ли вам это делать, зависит от характера трафика: обычный просмотр веб-страниц не вызывает проблем, но наличие двух учетных записей на разных платформах, использующих один и тот же выходной IP-адрес, — это именно та схема взаимосвязи, которую ищут эти платформы, и она навсегда связывает их друг с другом. Правилом по-прежнему остаётся один выделенный IP-адрес на одну учетную запись.
Связанные руководства по мобильным прокси-серверам
Получите прокси и следуйте инструкциям
Выделенные модемы 4G/5G с неограниченной пропускной способностью и неограниченным количеством ротаций — конечные точки HTTP(S) и SOCKS5, совместимые с инструментами, которые вы уже используете.
Получить мобильный прокси