Ошибки прокси 407, 403, 502, 504: что значат и как исправить

При работе с HTTPS-сайтом через HTTP(S)-прокси соединение проходит два этапа. Сначала клиент просит прокси открыть туннель командой CONNECT, и прокси отвечает своим кодом. Если туннель открыт, дальше идёт обычный разговор с сайтом, и все последующие коды принадлежат уже сайту.

curl -v -x http://login:[email protected]:8000 https://api.ipify.org

> CONNECT api.ipify.org:443 HTTP/1.1
< HTTP/1.1 200 Connection established     <- ответ прокси: туннель открыт
...
< HTTP/2 200                              <- ответ сайта

Если прокси отказал на первом этапе, curl напишет CONNECT tunnel failed, response 407 (в старых версиях Received HTTP code 407 from proxy after CONNECT). Значит, проблема в прокси или в данных доступа. Если туннель открылся, а потом пришёл 403, ограничивает сайт. Браузер такой детализации не показывает, поэтому при любой непонятной ошибке сначала повторите запрос в curl.

Прокси требует авторизацию и не получил правильных данных. Это самая частая ошибка при первом подключении, и почти всегда она решается на вашей стороне.

• Опечатка в логине или пароле. Копируйте данные из кабинета, а не перепечатывайте. Проверьте лишние пробелы в начале и конце.
• Перепутан формат строки. Программа ждёт login:password@ip:port, а вы вставили ip:port:login:password, и она приняла логин за порт. Переведите строку в нужный формат в конвертере прокси.
• Спецсимволы в пароле. Символы @, :, /, # в адресе прокси нужно закодировать: @ записывается как %40, : как %3A.
• Программа не умеет авторизацию. Например, Chrome с ключом --proxy-server не принимает логин и пароль в адресе. Используйте настройку через расширение, антидетект или привязку по IP.
• Привязка по IP, а ваш адрес сменился. Если доступ открыт для конкретного IP, а провайдер выдал вам новый, прокси перестанет вас пускать. Обновите разрешённый адрес в кабинете.

403 означает «доступ запрещён», и важно понять, от кого он пришёл.

403 от прокси

Прокси отказывается открывать туннель: ваш IP не в списке разрешённых, запрошен порт, который сервер не пропускает, или срок действия прокси закончился. Проверьте статус и дату окончания в кабинете и список привязанных адресов.

403 от сайта

Туннель открыт, но сайт не хочет обслуживать запрос. Причины: сайт не пускает адреса дата-центров или конкретные подсети, у адреса плохая репутация, запросы похожи на автоматические (нет нормальных заголовков, браузер без JavaScript), или страна адреса не та, которую ожидает сервис.

Что делать: проверьте, открывается ли сайт с этого прокси в обычном браузере. Если в браузере всё работает, дело в заголовках и поведении скрипта. Если не работает и в браузере, сайту не нравится тип адреса: для строгих площадок подойдут ISP, резидентские или мобильные прокси. Подробно о причинах в статье почему сайт блокирует прокси.

Сайт ограничил частоту запросов с вашего адреса. Это не поломка прокси, а сигнал снизить темп. Если в ответе есть заголовок Retry-After, он подскажет, сколько секунд подождать.

• Уменьшите число одновременных запросов на один адрес и добавьте паузы.
• Распределите нагрузку по нескольким адресам: пул серверных IPv4 или ротация у резидентских прокси.
• Кешируйте ответы и не запрашивайте одни и те же страницы повторно.
• Соблюдайте robots.txt и условия сайта. Цель - не перегружать сайт, а не выжать из него максимум.

Практика сбора данных с умеренной нагрузкой описана в статье парсинг цен без блокировок и на странице прокси для парсинга.

Эти коды прокси возвращает, когда что-то пошло не так на участке между ним и сайтом.

Ключевой тест: если сайт не открывается и без прокси, проблема на стороне сайта, и прокси тут ни при чём. Если без прокси работает, а через один адрес нет, попробуйте соседний адрес из того же заказа. Если 502 приходит на нескольких адресах одной подсети, сайт может отсекать эту подсеть: такое поведение тоже стоит разобрать с поддержкой.

Если программа вообще не смогла поговорить с прокси, кода ответа нет, есть только сетевая ошибка. Вот как они выглядят в разных инструментах:

Таймауты: подключение и ответ

Различайте два таймаута. Таймаут подключения (connect timeout) срабатывает, если не удалось связаться с прокси: обычно хватает 5-10 секунд. Таймаут ответа (read timeout) срабатывает, если сайт долго отвечает: для тяжёлых страниц через далёкий прокси ставьте 20-30 секунд. Если таймауты стабильно случаются на одном адресе, а на соседних нет, адрес проблемный. Если на всех, разберитесь со скоростью по статье почему прокси медленно работает.

1. 01

   Скопируйте данные заново

   Возьмите строку доступа из кабинета без ручной правки и проверьте формат в конвертере.

2. 02

   Сверьте протокол и порт

   HTTP(S) или SOCKS5 должен совпадать с заказом, порт с выдачей.

3. 03

   Проверьте через curl

   curl -v -x <прокси> https://api.ipify.org покажет, где обрывается соединение и какой IP видит сайт.

4. 04

   Проверьте срок и привязку

   Прокси активен, срок не истёк, а при привязке по IP ваш текущий адрес есть в списке разрешённых.

5. 05

   Исключите сайт

   Откройте тот же сайт без прокси и другой сайт через прокси. Так вы поймёте, где источник ошибки.

6. 06

   Соберите детали для поддержки

   Адрес прокси без пароля, точный текст ошибки, время, вывод curl -v. С такими данными вопрос решается быстрее.

Если адрес не работает по вине сервера, в течение 24 часов после покупки его можно бесплатно заменить. Поэтому проверяйте прокси сразу после выдачи: подробный порядок в статье как проверить прокси. Новые адреса под задачу можно подобрать в каталоге.