Резидентские прокси по ГБ: как посчитать расход трафика

Как устроена оплата за гигабайты

В TrueSocks резидентские прокси продаются пакетами трафика. Пакет действует 30 дней, а при покупке большего объёма действует скидка. Адрес может меняться на каждый запрос или держаться в рамках липкой сессии, на стоимость это не влияет: считается только объём переданных данных. Израсходованный трафик виден в личном кабинете.

Для задач в странах СНГ есть отдельный товар резидентские СНГ, для повышенных требований к пулу - премиальный вариант. Принцип расчёта у них одинаковый. О режимах смены адреса читайте в статье ротация и sticky-сессии.

Формула оценки

Базовая оценка строится из трёх множителей.

трафик = средний_вес_загрузки × число_загрузок × коэффициент_повторов

средний_вес_загрузки  - сколько байт уходит на одну страницу или запрос
число_загрузок        - сколько страниц за период (за 30 дней действия пакета)
коэффициент_повторов  - 1 + доля повторных запросов (ошибки, таймауты)

Самая неопределённая величина - средний вес загрузки. Его нельзя взять из головы: одна и та же страница весит по-разному в браузере со всеми картинками и в простом HTTP-клиенте, который берёт только HTML.

Как измерить вес на выборке

Возьмите небольшую выборку типичных страниц, например несколько десятков разных карточек товара, и измерьте их тем же способом, которым будете собирать данные.

• В браузере: откройте инструменты разработчика, вкладку «Сеть», очистите журнал и загрузите страницу. Внизу показан объём переданных данных. Смотрите именно переданный объём, а не размер после распаковки.
• В парсере: добавьте счётчик байт ответов, многие HTTP-библиотеки дают эту информацию. Сложите значения по выборке и разделите на число страниц.
• По кабинету: прогоните выборку через прокси и посмотрите, на сколько изменился израсходованный трафик в личном кабинете. Это самый честный замер, потому что учитывает все накладные расходы.

Заодно оцените долю повторов: сколько запросов из выборки пришлось повторить из-за ошибок или таймаутов. Это и будет поправочный коэффициент.

На что обратить внимание при замере

• Выборка должна быть типичной: карточки с большим числом фото и страницы категорий могут весить по-разному, включите в замер оба вида.
• Замеряйте с выключенным кешем браузера, иначе часть ресурсов не попадёт в подсчёт, а при реальной ротации адресов кеш помогает не всегда.
• Учитывайте вспомогательные запросы: переходы по страницам каталога, авторизацию, редиректы. Они тоже расходуют трафик.
• Повторите замер через несколько дней работы: сверьте прогноз с фактическим расходом в кабинете и скорректируйте оценку.

Разбор на условном примере

Допустим, нужно ежедневно проверять 1 000 карточек товаров, то есть около 30 000 загрузок за 30 дней. Допустим, замер в браузере показал 2 МБ на страницу со всеми картинками, а повторов оказалось около 10%, то есть коэффициент 1,1.

Пример показывает главное: способ сбора влияет на расход сильнее, чем всё остальное. Разница между браузером со всеми ресурсами и лёгким запросом к данным может измеряться десятками раз.

Как сократить расход трафика

1. 1Не используйте браузер без необходимости. Если данные есть в исходном HTML, обычного HTTP-клиента достаточно. Браузер нужен, когда содержимое строится скриптами и иначе его не получить.
2. 2Блокируйте лишнее в браузере: картинки, шрифты, видео, рекламные и аналитические скрипты. Большинство инструментов автоматизации позволяют отклонять такие запросы.
3. 3Ищите JSON. Многие витрины подгружают данные отдельным запросом, и он весит намного меньше страницы целиком. Если у сайта есть официальный API, начните с него.
4. 4Включите сжатие: заголовок Accept-Encoding: gzip уменьшает объём текстовых ответов.
5. 5Кешируйте. Не загружайте повторно то, что не изменилось; используйте ETag и If-Modified-Since, где сайт их поддерживает.
6. 6Снижайте долю повторов: вежливый темп даёт меньше ошибок, а значит, меньше оплаченного, но бесполезного трафика.
7. 7Разделяйте трафик: через резидентские прокси пускайте только запросы к сайтам, которым они нужны, а служебные запросы и загрузки с нетребовательных источников ведите напрямую или через серверные адреса.

Подробнее о вежливом темпе и кешировании - в статье парсинг цен без блокировок.

Когда выгоднее безлимит по времени

У резидентских прокси Безлимит другая модель: оплата за время (1, 7 или 30 дней), трафик не считается, а скорость ограничена каналом. Такой вариант стоит рассмотреть, если:

• расход по вашей оценке большой и плохо предсказуем, а сократить его нельзя, например нужен браузер со всеми ресурсами;
• задача идёт непрерывно и равномерно, без резких пиков, так что ограничение скорости канала не мешает;
• нужна короткая интенсивная работа на день или неделю, и проще заплатить за срок, чем считать гигабайты.

Если задача лёгкая, нерегулярная или вы можете перейти на JSON и HTTP-клиент, пакет по ГБ обычно удобнее. Сравните обе стоимости по своей оценке в каталоге: цены пакетов и сроков указаны на страницах товаров.