Прокси для SEO и съёма позиций

Зачем SEO нужны прокси

Съём позиций - это серия поисковых запросов: программа вводит ключевую фразу, получает страницу выдачи и ищет в ней ваш сайт. Если таких запросов много и они идут с одного IP, поисковая система быстро замечает нетипичную активность и начинает показывать капчу. Прокси позволяют распределить запросы по нескольким адресам так, чтобы на каждый приходилось умеренное количество.

Вторая причина - география. Выдача зависит от страны и города. Чтобы видеть позиции так, как их видит пользователь в нужном регионе, программе нужны региональные параметры запроса, а в ряде случаев и адрес из этой страны.

Сколько прокси нужно: как посчитать

Готового числа, которое подойдёт всем, нет. Безопасная частота запросов с одного адреса зависит от поисковой системы, типа адреса, глубины выдачи и даже времени суток. Поэтому правильный путь - посчитать по формуле и проверить на практике.

1. 1Посчитайте объём. Число ключевых фраз × число регионов × число поисковых систем × число страниц выдачи на фразу = запросов за один съём.
2. 2Определите окно. За сколько часов съём должен завершиться: например, ночью до начала рабочего дня.
3. 3Измерьте безопасный темп на один адрес. Запустите съём на небольшом наборе адресов и постепенно повышайте частоту, пока не начнёт появляться капча. Возьмите значение с запасом ниже этой границы.
4. 4Разделите. Нужное число адресов = запросов за съём ÷ (безопасных запросов на адрес в час × часов в окне).

запросов_за_съём = фразы × регионы × поисковики × страницы_выдачи
адресов = запросов_за_съём / (безопасно_в_час_на_IP × часов_в_окне)

# добавьте запас на повторы и ошибки, затем проверьте на практике

Безопасный темп - именно та величина, которую нельзя взять из чужой статьи: её нужно измерить на своей задаче. После первого полного съёма посмотрите на долю капчи и ошибок. Если она растёт, добавьте адреса или растяните окно. Если капчи почти нет, можно попробовать работать с меньшим количеством адресов.

Капча: снижать темп, а не обходить

Капча - прямой сигнал поисковой системы, что с адреса приходит слишком много автоматических запросов. Самое надёжное решение - уменьшить нагрузку на каждый адрес.

• Увеличьте паузы между запросами и добавьте к ним случайный разброс.
• Снизьте число потоков на один адрес.
• Адрес, получивший капчу, отложите на время, а не отправляйте сразу следующий запрос.
• Не запрашивайте лишние страницы выдачи: если вас интересует топ-10, глубже идти не нужно.
• Повторяйте съём не чаще, чем это действительно нужно для отчётов.

Общие принципы вежливого сбора данных, от лимитов до обработки ответов 429, подробно описаны в статье парсинг цен без блокировок.

Регион выдачи: параметры поиска и адрес

Регион выдачи определяется не только по IP. Большинство поисковых систем позволяют задать регион, язык и страну прямо в параметрах запроса или в настройках, и программы для съёма позиций используют это. Задайте нужный город в настройках проекта программы: это точнее, чем полагаться только на геолокацию адреса.

Адрес из той же страны полезен как дополнение: выдача, полученная с иностранного IP, может отличаться даже при правильно указанном регионе. Поэтому для проектов в разных странах удобно держать отдельные группы прокси по странам и не смешивать их.

Какие адреса выбрать

Когда подходит IPv6

IPv6-адресов много, поэтому они дешевле. Но работают они только с сервисами, которые принимают подключения по IPv6. Прежде чем покупать, убедитесь, что нужная поисковая система и ваша программа поддерживают IPv6, и проверьте на небольшой партии. Подробное сравнение - в статье IPv4 или IPv6.

Когда нужны резидентские

Для регулярного съёма позиций резидентские прокси обычно избыточны. Они полезны для точечных проверок: посмотреть, какая реклама показывается в конкретном городе, как выглядит выдача с локальными блоками, нет ли различий с данными программы. Оплата за гигабайты удобна для таких разовых задач.

Настройка и подключение

• Программы для съёма позиций чаще всего работают с HTTP(S); протокол выбирается при заказе.
• Если программа запущена на сервере с постоянным IP, удобна привязка по IP: адрес сервера указывается при заказе, и логин с паролем не нужны.
• Список адресов можно перевести в формат вашей программы в конвертере прокси.
• Для больших проектов покупку, продление и выгрузку адресов можно автоматизировать через REST API.

Прокси выдаются сразу после оплаты, а неподходящий адрес можно бесплатно заменить в течение 24 часов после покупки. Больше о сценарии на странице прокси для SEO.