Дефицит IPv4: почему адреса дорожают и что делать покупателю

Откуда взялся дефицит

Адрес IPv4 состоит из 32 бит, поэтому всего возможных адресов около 4,3 миллиарда. Часть из них зарезервирована под служебные нужды: локальные сети, тестовые диапазоны, групповую рассылку. Когда протокол проектировали, этого казалось более чем достаточно, но интернет вырос намного быстрее, чем ожидалось.

Адреса распределяются иерархически. Организация IANA выдаёт крупные блоки региональным интернет-регистратурам, а те распределяют их между провайдерами и компаниями в своём регионе. Европа, Ближний Восток и часть Центральной Азии относятся к регистратуре RIPE NCC, она же распределяет адреса и в России.

Ключевые этапы

• 2011 год: у IANA закончился общий свободный пул, последние крупные блоки были переданы региональным регистратурам.
• Ноябрь 2019 года: RIPE NCC выдала последний блок размером /22 из свободного пула. С тех пор новые адреса распределяются только из возвращённых, и на них существует очередь ожидания.
• Сейчас: получить новый IPv4-блок напрямую у регистратуры в обычном порядке практически невозможно.

Вторичный рынок: адреса как актив

Когда свободные адреса закончились, сложился вторичный рынок. Компании, у которых остались неиспользуемые блоки, продают их или сдают в аренду. Сделки проходят через регистратуры, чтобы смена владельца была официально отражена в базах.

Для провайдера, хостинга или прокси-сервиса IPv4 стал расходом, сравнимым с оборудованием и каналом. Адрес нужно купить или арендовать, поддерживать его репутацию, а при необходимости заменить. Поэтому стоимость IPv4 закладывается в цену каждого прокси, и при росте спроса на адреса этот рост рано или поздно отражается на тарифах.

Почему все не перешли на IPv6

IPv6 решает проблему нехватки: адресов в нём столько, что их выдают целыми подсетями. Поддержка IPv6 у сайтов, провайдеров и операторов постепенно растёт. Но переход идёт медленно: IPv4 и IPv6 несовместимы напрямую, и чтобы сайт открывался по IPv6, его владелец должен отдельно настроить серверы, DNS и защиту.

В итоге многие сайты до сих пор доступны только по IPv4. Именно поэтому IPv6-прокси дешёвые, но не универсальные: они подходят только для ресурсов с поддержкой IPv6. Как это проверить, разобрали в статье IPv4 или IPv6 прокси.

Что это значит для покупателя прокси

Дефицит не означает, что прокси станут недоступны. Он означает, что адреса IPv4 стоит использовать осознанно и не переплачивать там, где можно обойтись другим вариантом.

Используйте IPv6 там, где его хватает

Если целевой сайт поддерживает IPv6 (у домена есть DNS-запись AAAA), массовые задачи вроде съёма позиций и парсинга открытых данных можно перевести на IPv6 Эконом. IPv6 заказывается от 10 адресов, и при больших объёмах это заметная экономия.

Берите длинный срок на стабильные задачи

Если вы точно знаете, что адреса понадобятся надолго (постоянный мониторинг, рабочие аккаунты), выгоднее оплатить более длинный срок сразу, чем продлевать понемногу. Так вы фиксируете стоимость на весь период. А если планы поменяются, неиспользованные дни по оформленному возврату вернутся на баланс.

Подбирайте тип адреса под задачу

• Для массового анонимного парсинга сайтов без IPv6 подойдут IPv4 Эконом или общие IPv4.
• Для аккаунтов, которым нужен постоянный адрес, - индивидуальные IPv4 или ISP.
• Если нужно много разных адресов, но немного трафика, посмотрите на резидентские прокси с оплатой за гигабайты: вы платите за объём, а не за каждый IP.

Дефицит и репутация адресов

У дефицита есть менее очевидное следствие. Раз новых адресов нет, большинство IPv4 в обороте уже кем-то использовались: принадлежали другим компаниям, работали под хостинг, почту или сервисы. У части адресов сохраняется история, которую помнят сайты и антиспам-системы.

Поэтому при покупке прокси полезно не только смотреть на цену, но и проверять адреса в своей задаче сразу после выдачи. В TrueSocks в течение 24 часов после покупки адрес можно бесплатно заменить, если он не подошёл. А для задач, где важна чистота подсетей, есть IPv4 Премиум с отдельным пулом подсетей.

• Проверьте прокси на целевом сайте в первые часы после выдачи, а не через неделю.
• Если сайт сразу ограничивает конкретный адрес при обычной работе, оформите замену.
• Не используйте один адрес для задач, которые плохо сочетаются, например для массового парсинга и рабочего аккаунта одновременно.

Почему сайты могут ограничивать адреса и как это диагностировать, разобрано в статье о том, почему сайт блокирует прокси.

Коротко

• Свободные IPv4 закончились: у IANA в 2011 году, у RIPE NCC в ноябре 2019 года.
• Адреса теперь продаются и сдаются в аренду на вторичном рынке, и их стоимость входит в цену прокси.
• IPv6 растёт, но многие сайты всё ещё работают только по IPv4.
• Экономить можно на IPv6 для поддерживающих его сайтов, на длинных сроках для стабильных задач и на правильном выборе типа прокси. Сравнение типов - в статье о серверных, ISP, резидентских и мобильных прокси.