Почему сайт блокирует прокси и что с этим делать

Как сайт принимает решение

Современная защита редко смотрит на один параметр. Она складывает сигналы: откуда пришёл запрос, как часто, как ведёт себя посетитель, что сообщает браузер. Каждый сигнал добавляет баллы риска, и при превышении порога сайт показывает капчу, замедляет ответы или закрывает доступ.

Отсюда важный вывод: заменой одного IP проблема решается не всегда. Если причина в поведении или настройках браузера, новый адрес быстро получит те же ограничения.

Причины, связанные с адресом

• Подсеть дата-центра. По номеру автономной системы (ASN) сайт видит, что адрес принадлежит хостингу, а не домашнему провайдеру. Для одних площадок это нормально, другие относятся к таким адресам строже.
• Репутация IP. Если с адреса или его подсети раньше шёл спам или массовые запросы, он мог попасть в чёрные списки. Репутация накапливается годами и не обнуляется при смене владельца.
• Общий адрес. Когда одним IP пользуются несколько клиентов, чужие действия влияют и на вас. Об этом подробно в статье про общие и индивидуальные IPv4.
• IPv6 не поддерживается. Многие сайты до сих пор работают только по IPv4. IPv6-прокси с таким сайтом просто не соединится, и это выглядит как блокировка, хотя ею не является.

Причины, связанные с поведением и браузером

• Частота запросов. Десятки запросов в секунду с одного адреса не похожи на человека. Сайт отвечает кодом 429 (слишком много запросов) или временно закрывает доступ.
• Шаблонное поведение. Одинаковые интервалы, переход сразу на глубокие страницы без главной, отсутствие загрузки картинок и скриптов - типичные признаки автоматизации.
• Несовпадение гео. IP из одной страны, а часовой пояс, язык системы и раскладка из другой. Для сайта это заметное противоречие.
• Отпечаток браузера. Набор параметров (разрешение экрана, шрифты, видеокарта, User-Agent) повторяется на многих аккаунтах или выглядит неестественно.
• Cookie и история. Чистый профиль без cookie, который сразу совершает активные действия, вызывает больше вопросов, чем привычный посетитель.
• Утечки WebRTC и DNS. Браузер выдаёт настоящий адрес рядом с IP прокси. Как это проверить, мы описали в статье как проверить прокси.

Как найти причину

Прежде чем менять адрес или тип прокси, выясните, что именно не нравится сайту. Удобно двигаться от простого к сложному и менять за раз только один параметр.

1. 1Откройте сайт через тот же прокси в обычном браузере вручную. Если вручную всё работает, а скрипт получает отказ, дело в частоте запросов или в том, как скрипт выглядит для сайта.
2. 2Посмотрите на код ответа. 429 говорит о превышении частоты, 403 чаще связан с адресом или подсетью, бесконечная капча обычно означает сумму нескольких сигналов.
3. 3Проверьте тот же сценарий с другим адресом из той же подсети и с адресом другого типа. Если не работают все серверные IP, а ISP работает, причина в типе адреса.
4. 4Сравните гео прокси, часовой пояс и язык браузера, проверьте утечки WebRTC и DNS.
5. 5Если сайт отказывает сразу, без единого успешного запроса, убедитесь, что он вообще поддерживает протокол вашего адреса, например IPv6.

Что делать: законные способы

1. 1Снизьте частоту. Добавьте паузы между запросами, ограничьте число параллельных потоков на один адрес, повторяйте запрос после 429 с увеличивающейся задержкой. Часто этого достаточно.
2. 2Соблюдайте правила сайта. Читайте пользовательское соглашение и файл robots.txt, не собирайте закрытые разделы и персональные данные.
3. 3Используйте официальный API, если он есть. Это стабильнее парсинга страниц и не создаёт конфликта с площадкой.
4. 4Подберите тип адреса. Если серверные IP ограничиваются, попробуйте ISP-прокси: адрес из подсети провайдера при скорости дата-центра. Для самых строгих площадок подходят резидентские или мобильные адреса. Сравнение типов в статье о серверных, ISP, резидентских и мобильных прокси.
5. 5Один аккаунт - один IP. Не заходите в разные аккаунты с одного адреса и не меняйте адрес аккаунта без нужды. Стабильная связка «аккаунт, профиль браузера, IP» выглядит естественно.
6. 6Согласуйте гео. Страна прокси, часовой пояс, язык и регион в профиле должны совпадать.
7. 7Работайте ровно. Новый аккаунт или новый адрес лучше вводить в работу постепенно, без резких всплесков активности в первый же день.
8. 8Договоритесь с площадкой. Для B2B-задач, например мониторинга цен партнёров, иногда проще попросить добавить ваши адреса в белый список или получить выгрузку данных.

Чего делать не стоит

Есть граница между стабильной работой и обходом защиты. Если сайт заблокировал аккаунт за нарушение правил, смена прокси не решает проблему, а лишь продолжает нарушение. Мы не помогаем обходить блокировки аккаунтов и антифрод-системы для запрещённой деятельности.

Подробнее о допустимом использовании в правилах сервиса. Если задача законная и вы следуете правилам площадки, почти всегда находится настройка, при которой блокировок становится мало.