Настройка мобильного прокси в Python

Библиотеки прокси для Python

Python является основным языком программирования для веб-парсинга, автоматизации и построения конвейеров обработки данных. Однако различные библиотеки Python взаимодействуют с прокси на разных уровнях сетевого стека. Выбор подходящей библиотеки зависит от того, требуются ли в вашем проекте простые синхронные HTTP-вызовы, асинхронные рабочие процессы с высокой степенью параллелизма или полная эмуляция браузера.

запросы по настройке библиотеки

В библиотеке `requests` языка Python прокси настраиваются с помощью словаря, который сопоставляет схемы протоколов с URL-адресами конечных точек прокси. Чтобы избежать лишних затрат и повторного согласования TCP при каждом вызове, всегда используйте объект `requests.Session()`. Сессия повторно использует базовый пул соединений и сохраняет файлы cookie между вызовами.

import requests

# 1. Define proxy credentials and endpoint
PROXIES = {
    'http': 'http://user123:secret456@proxy.pxm2.io:8000',
    'https': 'http://user123:secret456@proxy.pxm2.io:8000',
}

# 2. Initialize Session and mount proxies
session = requests.Session()
session.proxies.update(PROXIES)

# 3. Add realistic mobile browser headers
session.headers.update({
    'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 17_5 like Mac OS X) AppleWebKit/605.1.15',
    'Accept-Language': 'en-US,en;q=0.9',
})

# 4. Make requests through the dedicated mobile IP
response = session.get('https://ipinfo.io/json', timeout=15)
print(response.json())

To route requests through SOCKS5 with remote DNS resolution, install the SOCKS dependencies: pip install "requests[socks]". Then replace the proxy URLs with socks5h://user:pass@proxy.pxm2.io:1080.

Настройка httpx и aiohttp

При масштабировании скрейперов до сотен запросов в минуту синхронный код блокирует интерпретатор Python во время ожидания сетевых ответов. Библиотеки httpx и aiohttp позволяют выполнять параллельные запросы в рамках одного асинхронного цикла событий.

Использование httpx с асинхронными мобильными прокси-серверами

httpx обеспечивает современную поддержку асинхронных операций и удобную настройку прокси непосредственно в объекте AsyncClient:

import asyncio
import httpx

async def fetch_ip():
    proxy_url = "http://user123:secret456@proxy.pxm2.io:8000"
    
    # Configure AsyncClient with custom timeouts and proxy
    limits = httpx.Limits(max_keepalive_connections=20, max_connections=50)
    async with httpx.AsyncClient(proxy=proxy_url, limits=limits, timeout=20.0) as client:
        response = await client.get("https://api.ipify.org?format=json")
        data = response.json()
        print(f"Carrier IP: {data['ip']}")

asyncio.run(fetch_ip())

Настройка прокси-сервера Selenium

Для динамических сайтов, защищённых расширенными средствами управления ботами или сложным кодом JavaScript, Selenium запускает настоящий браузер Chrome или Chromium. Однако флаг командной строки Chrome --proxy-server не поддерживает встроенные учетные данные (например, user:pass@host). Если учетные данные передаются через этот флаг, Chrome запрашивает аутентификацию с помощью всплывающего окна графического интерфейса, что приводит к остановке скриптов, выполняющихся в режиме без интерфейса.

Существует два варианта реализации аутентификации с помощью Selenium: добавление вашего сервера в белый список IP-адресов в PXM2 или установка облегченного фонового расширения для Chrome.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
# Point to your dedicated PXM2 mobile modem (secured by IP whitelist)
options.add_argument('--proxy-server=http://proxy.pxm2.io:8000')
options.add_argument('--headless=new')
options.add_argument('--disable-blink-features=AutomationControlled')

driver = webdriver.Chrome(options=options)
driver.get('https://ipinfo.io')
print(driver.title)
driver.quit()

Рекомендации по использованию прокси-серверов в Python

Чтобы обеспечить стабильную работу при сборе данных или управлении учетными записями через мобильные сотовые соединения, придерживайтесь следующих важных технических рекомендаций:

• 1. Реализовать экспоненциальный откат с повторными попытками в urllib3
  В сетях сотовой связи иногда происходит потеря пакетов во время переключения между базовыми станциями. Установка адаптера HTTPAdapter с настройкой повторных попыток для ошибок 429, 502, 503 и 504 позволяет избежать сбоев в работе скрейперов.
• 2. Установить явные таймауты
  Никогда не отправляйте запросы без параметров в Python. В случае скачка задержки в работе базовой станции запрос без указания времени ожидания зависнет на неопределённое время. Всегда указывайте кортеж: timeout=(5.0, 25.0) для таймаутов подключения и чтения.
• 3. Синхронизация смены IP-адресов
  При вызове вебхука ротации PXM2 из Python следует приостановить работу активных рабочих потоков на 5–8 секунд. Это даст модему время отсоединиться от базовой станции 4G/5G, переустановить IP-адрес оператора и восстановить передачу данных.

Часто задаваемые вопросы

Связанные руководства по мобильным прокси-серверам

Ознакомьтесь с дополнительными учебными материалами по другим языкам программирования, средам разработки и основным сетевым архитектурам.

Руководства для разработчиков и по автоматизации

Руководства по платформам и скрапингу