Прокси для Key Collector и Wordstat: сколько нужно и какие брать

Key Collector собирает данные из нескольких источников, и почти все они ограничивают частоту запросов. Когда программа запускает парсинг в несколько потоков с одного домашнего IP, Яндекс видит неестественно плотный поток обращений и начинает показывать капчу. Сбор замедляется, деньги на сервисе распознавания уходят быстрее, а в худшем случае аккаунт, через который идёт парсинг Wordstat, получает ограничения.

Прокси решают две задачи. Первая - распределить нагрузку: каждый поток ходит со своего адреса и укладывается в комфортный для источника темп. Вторая - стабильность аккаунтов: каждый аккаунт Яндекса всегда заходит с одного и того же IP и не выглядит как учётная запись, которой пользуются из десяти мест одновременно.

Для сбора семантики под Яндекс решающее значение имеют две вещи: адрес должен быть только вашим и стабильно работать весь срок. Скорость канала вторична: запросы к Wordstat лёгкие.

• Задача

  Для аккаунтов Wordstat

  Выбор

  Индивидуальные IPv4 России: адрес только ваш, статичен весь срок, по одному на аккаунт Яндекса.

  Смотреть: Для аккаунтов Wordstat
• Задача

  Для подсказок и массовых проверок

  Выбор

  Пакет общих IPv4 или индивидуальных адресов под парсер: много IP по низкой цене за штуку, ротацию делает сама программа по списку.

  Смотреть: Для подсказок и массовых проверок
• Задача

  Если источник часто показывает капчу

  Выбор

  Резидентские прокси России и СНГ: домашние адреса с ротацией и оплатой за трафик. Лёгкие запросы к подсказкам расходуют немного гигабайтов.

  Смотреть: Если источник часто показывает капчу
• Задача

  Если собираете семантику под Казахстан

  Выбор

  Индивидуальные IPv4 Казахстана для аккаунтов и съёма выдачи, регион статистики при этом задаётся в настройках.

  Смотреть: Если собираете семантику под Казахстан

А что с IPv6? Яндекс поддерживает IPv6, и такие адреса стоят в разы дешевле. Но поддержка IPv6 зависит от конкретного источника и версии программы, а при ошибке соединение не установится вовсе. Если хотите сэкономить, проверьте небольшой пакет IPv6 на своём сценарии, прежде чем переводить на него весь сбор. Основным вариантом для Key Collector остаётся IPv4.

Количество адресов считается от потоков, а потоки от того, сколько аккаунтов Яндекса вы готовы держать и с какой скоростью хотите собирать ядро. Универсальной цифры нет: Яндекс не публикует лимиты, а допустимый темп меняется. Но есть понятная логика расчёта.

1. 1Wordstat. Один поток - это одна пара «аккаунт Яндекса + свой IP». Хотите пять потоков, нужны пять аккаунтов и пять адресов.
2. 2Запас. Добавьте один-два адреса и аккаунта сверху: если какой-то аккаунт попросит подтверждение, сбор не остановится.
3. 3Подсказки и выдача. Отдельный пул. Начните с небольшого числа адресов, посмотрите, при каком темпе в логе программы появляется капча, и добавляйте адреса, а не потоки на один адрес.

Названия пунктов меню отличаются в разных версиях программы, но порядок действий одинаковый.

1. 01

   Подготовьте список

   Выгрузите прокси из личного кабинета в формате, который ждёт программа, чаще всего ip:port:user:pass или user:pass@ip:port. Перевести строку в другой формат можно в конвертере прокси.

2. 02

   Добавьте прокси в настройки сети

   В настройках Key Collector откройте раздел с прокси-серверами, вставьте список, укажите протокол HTTP или SOCKS5 и включите использование прокси.

3. 03

   Проверьте адреса

   Запустите встроенную проверку. Нерабочие строки обычно связаны с опечаткой в формате или протоколом: HTTP-порт и SOCKS5-порт у прокси разные.

4. 04

   Привяжите аккаунты к адресам

   В настройках Wordstat добавьте аккаунты Яндекса и закрепите за каждым свой прокси. Пара должна быть постоянной: тот же аккаунт всегда с того же IP.

5. 05

   Задайте потоки и паузы

   Число потоков Wordstat не больше числа пар. Включите паузы между запросами: небольшая задержка почти не замедляет сбор, зато заметно сокращает капчу.

6. 06

   Подключите распознавание капчи

   Даже при аккуратной настройке капча иногда появляется. Подключите сервис распознавания, чтобы сбор не останавливался ночью.

Прокси - только половина пары. Вторая половина - аккаунты Яндекса, через которые Key Collector запрашивает Wordstat. От того, как они подготовлены, зависит, сколько капчи и подтверждений вы увидите.

• Отдельные аккаунты под парсинг. Не используйте личную почту и аккаунт, к которому привязаны Директ, Метрика или Вебмастер компании. Если парсинговый аккаунт попадёт под ограничения, рабочие сервисы не пострадают.
• Первый вход - уже через «свой» прокси. Аккаунт, который создан с одного адреса, а работает с другого, чаще просит подтверждение. Закрепите IP за аккаунтом с самого начала.
• Номер телефона. Яндекс может попросить подтвердить аккаунт по телефону. Используйте номера, к которым у вас останется доступ: иначе аккаунт придётся заводить заново.
• Реестр пар. Таблица «аккаунт - прокси - дата окончания прокси». Когда продлеваете адреса, пары не меняются, и аккаунтам не приходится привыкать к новому IP.
• Продление вместо новой покупки. Если адреса подошли, продлевайте их, а не покупайте новые: при продлении IP и доступы сохраняются.

Если вы ведёте семантику для нескольких клиентов, разумно держать пары под каждого крупного клиента в отдельном заказе. Так проще считать расходы и не останавливать сбор одного проекта из-за другого. Подробно об организации пула в команде рассказано в статье прокси для бизнеса и команд.

Частая путаница: чтобы собрать частотности по Казахстану или по конкретному городу, покупают прокси этого региона. Для Wordstat это не нужно: регион статистики выбирается в параметрах запроса и в настройках Key Collector, а не определяется по IP.

• Wordstat и Директ. Регион задаётся в настройках сбора. Прокси России подходят для сбора статистики по любым регионам, которые есть в Wordstat.
• Подсказки. Здесь страна адреса может влиять на результат: поисковые системы учитывают местоположение пользователя. Для подсказок под Казахстан разумно взять адреса Казахстана.
• Съём выдачи. Регион выдачи Яндекса обычно задаётся параметром, но страна IP тоже имеет значение, особенно для Google. Подробнее в статье прокси для SEO.

Если капча внезапно выросла на всех адресах сразу, дело скорее в общем темпе или в изменениях на стороне Яндекса: снизьте потоки и увеличьте паузы. Если капча только на одном-двух адресах, проверьте эти прокси отдельно. Методика описана в статье как проверить прокси, а в течение 24 часов после покупки неподходящий адрес можно бесплатно заменить в личном кабинете.

Больше о задачах SEO-специалиста на странице прокси для SEO и съёма позиций.