Прокси в Selenium, Playwright и Puppeteer: авторизация и ротация

Ограничение с SOCKS5 идёт от самого Chromium: браузер не поддерживает авторизацию на SOCKS-прокси. Поэтому для браузерной автоматизации проще всего заказать прокси с протоколом HTTP(S), он выбирается при оформлении заказа. Если без SOCKS5 не обойтись, используйте привязку по IP или локальный пересыльщик, о нём ниже.

Playwright принимает прокси как объект с адресом и данными авторизации. Логин и пароль нужно передавать отдельными полями: учётные данные внутри строки server браузер не использует.

from playwright.sync_api import sync_playwright

PROXY = {
    "server": "http://203.0.113.10:8000",
    "username": "login",
    "password": "password",
}

with sync_playwright() as p:
    browser = p.chromium.launch(proxy=PROXY)
    page = browser.new_page()
    page.goto("https://api.ipify.org")
    print(page.inner_text("body"))
    browser.close()

Свой прокси для каждого контекста

Контекст в Playwright - изолированная сессия со своими cookies и хранилищем, аналог отдельного профиля. Если задать прокси в контексте, в одном процессе браузера можно держать несколько независимых сессий с разными адресами. Заодно выставьте язык и часовой пояс под страну прокси.

const { chromium } = require("playwright");

const proxies = [
  { server: "http://203.0.113.10:8000", username: "login", password: "password" },
  { server: "http://203.0.113.11:8000", username: "login", password: "password" },
];

(async () => {
  const browser = await chromium.launch();
  for (const proxy of proxies) {
    const context = await browser.newContext({
      proxy,
      locale: "de-DE",
      timezoneId: "Europe/Berlin",
    });
    const page = await context.newPage();
    await page.goto("https://api.ipify.org");
    console.log(await page.textContent("body"));
    await context.close();
  }
  await browser.close();
})();

В объекте прокси есть ещё поле bypass: список доменов через запятую, к которым браузер пойдёт напрямую, например localhost,.internal.example. В старых версиях Playwright на Windows для прокси в контексте требовалось задать глобальный прокси при запуске браузера. Если видите такую ошибку, обновите Playwright или передайте в launch прокси-заглушку { server: "http://per-context" }.

Puppeteer управляет Chrome напрямую, поэтому прокси задаётся ключом запуска браузера, а логин и пароль передаются отдельно на каждой вкладке.

const puppeteer = require("puppeteer");

(async () => {
  const browser = await puppeteer.launch({
    args: ["--proxy-server=http://203.0.113.10:8000"],
  });
  const page = await browser.newPage();
  await page.authenticate({ username: "login", password: "password" });
  await page.goto("https://api.ipify.org");
  console.log(await page.evaluate(() => document.body.innerText));
  await browser.close();
})();

Вызывайте page.authenticate() до первого перехода и для каждой новой вкладки. Чтобы в одном браузере работать с разными адресами, создайте контекст с собственным прокси: browser.createBrowserContext({ proxyServer: "http://203.0.113.11:8000" }). В версиях Puppeteer до 22 этот метод назывался createIncognitoBrowserContext.

Пакет proxy-chain

Если авторизация через authenticate неудобна, например страницы открываются сторонним кодом, используйте пакет proxy-chain. Он поднимает локальный прокси без пароля, который пересылает трафик на ваш прокси с авторизацией.

const puppeteer = require("puppeteer");
const proxyChain = require("proxy-chain");

(async () => {
  const localUrl = await proxyChain.anonymizeProxy("http://login:[email protected]:8000");
  // localUrl вида http://127.0.0.1:45678, без логина и пароля
  const browser = await puppeteer.launch({ args: ["--proxy-server=" + localUrl] });
  const page = await browser.newPage();
  await page.goto("https://api.ipify.org");
  await browser.close();
  await proxyChain.closeAnonymizedProxy(localUrl, true);
})();

В Selenium прокси задаётся при создании драйвера и действует на весь браузер. Адрес без авторизации передаётся просто:

from selenium import webdriver
from selenium.webdriver.common.by import By

options = webdriver.ChromeOptions()
options.add_argument("--proxy-server=http://203.0.113.10:8000")

driver = webdriver.Chrome(options=options)
driver.get("https://api.ipify.org")
print(driver.find_element(By.TAG_NAME, "body").text)
driver.quit()

options = webdriver.FirefoxOptions()
options.set_preference("network.proxy.type", 1)
options.set_preference("network.proxy.socks", "203.0.113.10")
options.set_preference("network.proxy.socks_port", 1080)
options.set_preference("network.proxy.socks_version", 5)
options.set_preference("network.proxy.socks_remote_dns", True)
driver = webdriver.Firefox(options=options)

Логин и пароль в ключе --proxy-server Chrome игнорирует, а окно авторизации прокси Selenium заполнить не может. Рабочие варианты:

• Привязка по IP. Разрешите доступ к прокси с адреса машины, где работает Selenium, и подключайтесь без пароля. Самый простой и надёжный путь для сервера с постоянным IP. Подробнее в статье логин или привязка по IP.
• Локальный пересыльщик. Утилита вроде gost слушает порт на 127.0.0.1 без пароля и передаёт трафик на прокси с авторизацией. Работает и для SOCKS5.
• selenium-wire. Популярная библиотека с поддержкой авторизации, но проект больше не развивается, поэтому для новых проектов лучше первые два варианта.

gost -L http://127.0.0.1:8080 -F http://login:[email protected]:8000

# в Selenium
options.add_argument("--proxy-server=http://127.0.0.1:8080")

В HTTP-клиенте каждый запрос можно отправить через свой прокси. В браузере так не получится: страница грузит десятки ресурсов, держит соединения открытыми, и сайт ожидает, что вся сессия идёт с одного адреса. Поэтому единица ротации в браузере - контекст или экземпляр браузера, а не запрос.

• Задача

  Пул статических адресов

  Выбор

  Один контекст Playwright или Puppeteer на один IPv4, задачи распределяются по контекстам. Предсказуемо и дёшево.

  Смотреть: Пул статических адресов
• Задача

  Резидентские в режиме липкой сессии

  Выбор

  Один идентификатор сессии на контекст: адрес держится, пока контекст работает, новый контекст получает новый IP.

  Смотреть: Резидентские в режиме липкой сессии
• Задача

  Аккаунты и долгие сессии

  Выбор

  Постоянный ISP-адрес за каждым профилем, чтобы сайт видел привычный IP при каждом входе.

  Смотреть: Аккаунты и долгие сессии

Управляемый браузер - всё тот же браузер, и у него те же утечки. Проверьте три вещи при первом запуске:

• WebRTC. Chrome может отправить UDP-запрос к STUN-серверу мимо прокси. Ключ запуска --force-webrtc-ip-handling-policy=disable_non_proxied_udp запрещает такой трафик.
• Часовой пояс и язык. В Playwright это timezoneId и locale контекста, в Puppeteer page.emulateTimezone("Europe/Berlin"), в Selenium с Chrome команда CDP Emulation.setTimezoneOverride.
• DNS при SOCKS5. Chromium разрешает имена через SOCKS5-прокси сам, а в Firefox нужна настройка network.proxy.socks_remote_dns, как в примере выше.

Как найти утечку за пять минут, рассказано в статье утечки WebRTC и DNS.

• Проверяйте адреса до запуска. Короткий скрипт, который открывает api.ipify.org через каждый прокси, экономит часы отладки. Подробнее в статье как проверить прокси.
• Блокируйте лишнее. Картинки, шрифты и видео расходуют трафик резидентских прокси. В Playwright их можно отсечь через page.route, в Puppeteer через перехват запросов.
• Не храните пароли в коде. Читайте данные прокси из переменных окружения или файла, исключённого из репозитория.
• Соблюдайте правила сайтов. Умеренный темп и паузы между действиями нужны не только для стабильности, но и чтобы не создавать лишнюю нагрузку.

Для HTTP-запросов без браузера примеры собраны в статьях прокси в Python и прокси в curl, wget и Node.js. Сценарии сбора данных описаны на странице прокси для парсинга, а все типы адресов в каталоге.