Прокси в curl, wget и Node.js: команды и примеры

Все инструменты ниже понимают прокси в виде URL: схема, логин и пароль, адрес и порт. Адреса в примерах условные, подставьте свои из выдачи.

http://login:[email protected]:8000
socks5h://login:[email protected]:1080

Схема http:// у HTTP(S)-прокси означает способ подключения к самому прокси, а не к сайту: HTTPS-сайты открываются через туннель CONNECT и остаются зашифрованными. Если в выдаче строка вида ip:port:login:password, переведите её в URL в конвертере прокси. Символы @, : и # в пароле нужно закодировать: %40, %3A, %23.

# логин и пароль в адресе
curl -x http://login:[email protected]:8000 https://api.ipify.org

# логин и пароль отдельным ключом (-U то же, что --proxy-user)
curl -x http://203.0.113.10:8000 -U login:password https://api.ipify.org

# прокси с привязкой по IP, без пароля
curl -x http://203.0.113.10:8000 https://api.ipify.org

# имена сайтов разрешает прокси (рекомендуется)
curl -x socks5h://login:[email protected]:1080 https://api.ipify.org

# имена разрешает ваш компьютер: DNS-запросы уйдут вашему провайдеру
curl -x socks5://login:[email protected]:1080 https://api.ipify.org

Если команда вернула адрес прокси, всё работает. В Windows 10 и 11 curl встроен, но в PowerShell слово curl - псевдоним другой команды, поэтому пишите curl.exe. Разница между socks5 и socks5h подробно разобрана в статье утечки WebRTC и DNS.

Полезные ключи

curl -s -o /dev/null -x http://login:[email protected]:8000 \
  -w "connect: %{time_connect}s  tls: %{time_appconnect}s  total: %{time_total}s\n" \
  https://www.google.com

time_connect показывает время подключения к прокси, time_appconnect - завершение TLS с сайтом через туннель, total - весь запрос. Если большая задержка уже на подключении, прокси далеко или перегружен. Как разобраться со скоростью, рассказано в статье почему прокси медленно работает.

export http_proxy="http://login:[email protected]:8000"
export https_proxy="http://login:[email protected]:8000"
export no_proxy="localhost,127.0.0.1"
curl https://api.ipify.org

curl принимает http_proxy только в нижнем регистре: это защита от подмены прокси через HTTP-заголовок Proxy в CGI-скриптах. Для HTTPS работают оба варианта, https_proxy и HTTPS_PROXY. Переменная ALL_PROXY задаёт прокси для всех протоколов. Те же переменные читают wget, pip, git и многие другие программы.

Чтобы curl всегда ходил через прокси без ключей, добавьте строку proxy = "http://login:[email protected]:8000" в файл ~/.curlrc. В Windows это файл _curlrc в папке %APPDATA%. Помните, что пароль в таком файле хранится открыто.

wget -q -O - \
  -e use_proxy=yes \
  -e https_proxy=http://203.0.113.10:8000 \
  --proxy-user=login --proxy-password=password \
  https://api.ipify.org

Ключ -e выполняет команду из синтаксиса файла настроек, так прокси задаётся без переменных окружения. Для постоянной настройки добавьте строки в ~/.wgetrc:

use_proxy = on
http_proxy = http://203.0.113.10:8000
https_proxy = http://203.0.113.10:8000
proxy_user = login
proxy_password = password

Встроенный fetch в Node.js построен на библиотеке undici и сам прокси не подхватывает. Прокси передаётся через диспетчер ProxyAgent.

import { fetch, ProxyAgent } from "undici";

const dispatcher = new ProxyAgent("http://login:[email protected]:8000");

const res = await fetch("https://api.ipify.org", {
  dispatcher,
  signal: AbortSignal.timeout(15000),
});
console.log(await res.text());

Импортируйте fetch из того же пакета undici, что и ProxyAgent: при смешивании встроенного fetch и диспетчера из другой версии undici бывают несовместимости. Вместо логина в адресе можно передать заголовок явно: new ProxyAgent({ uri: "http://203.0.113.10:8000", token: "Basic " + Buffer.from("login:password").toString("base64") }).

Прокси из переменных окружения

В Node.js 24 и новее встроенный fetch умеет брать прокси из HTTP_PROXY, HTTPS_PROXY и NO_PROXY, если запустить процесс с переменной NODE_USE_ENV_PROXY=1. В Node.js 20 и 22 то же делается в коде одной строкой:

import { setGlobalDispatcher, EnvHttpProxyAgent } from "undici";

setGlobalDispatcher(new EnvHttpProxyAgent());
// дальше любой fetch пойдёт через HTTPS_PROXY с учётом NO_PROXY

У axios есть собственная опция proxy, но с HTTPS-сайтами надёжнее работает агент из пакета https-proxy-agent. Встроенную опцию при этом отключают, чтобы она не мешала агенту.

import axios from "axios";
import { HttpsProxyAgent } from "https-proxy-agent";
import { SocksProxyAgent } from "socks-proxy-agent";

// HTTP(S)-прокси
const httpAgent = new HttpsProxyAgent("http://login:[email protected]:8000");
const r1 = await axios.get("https://api.ipify.org", { httpsAgent: httpAgent, proxy: false, timeout: 15000 });
console.log(r1.data);

// SOCKS5, DNS на стороне прокси
const socksAgent = new SocksProxyAgent("socks5h://login:[email protected]:1080");
const r2 = await axios.get("https://api.ipify.org", { httpsAgent: socksAgent, httpAgent: socksAgent, proxy: false });
console.log(r2.data);

Те же агенты подходят для модулей https и http из стандартной библиотеки, для got и других клиентов, которые принимают agent. Для ротации по списку статических адресов достаточно создать агент на каждый адрес и перебирать их по кругу:

import { readFileSync } from "node:fs";
import { fetch, ProxyAgent } from "undici";

const agents = readFileSync("proxies.txt", "utf8")
  .split(/\r?\n/)
  .filter(Boolean)
  .map((url) => new ProxyAgent(url));

let i = 0;
async function get(url) {
  const dispatcher = agents[i++ % agents.length];
  const res = await fetch(url, { dispatcher, signal: AbortSignal.timeout(15000) });
  if (res.status === 429) throw new Error("rate limited, slow down");
  return res.text();
}

Агенты переиспользуют соединения, поэтому создавайте их один раз, а не на каждый запрос. Для браузерных сценариев на Node.js смотрите статью прокси в Selenium, Playwright и Puppeteer, для Python - прокси в Python.

while read -r p; do
  host=$(echo "$p" | cut -d@ -f2)
  ip=$(curl -s -m 10 -x "$p" https://api.ipify.org) || ip="FAIL"
  echo "$host -> $ip"
done < proxies.txt

Скрипт выводит хост прокси без пароля и внешний IP, который видит сайт. Если адрес не отвечает, сначала проверьте протокол: прокси, заказанный как HTTP(S), не заработает со схемой socks5h://, и наоборот. В течение 24 часов после покупки неработающий адрес можно бесплатно заменить.

Полная расшифровка кодов с разбором, кто вернул ошибку, прокси или сайт, есть в статье ошибки прокси 407, 403, 502, 504.

• Задача

  Сбор открытых данных и мониторинг

  Выбор

  Серверные IPv4 нужной страны: стабильные адреса по низкой цене, удобно перебирать списком.

  Смотреть: Сбор открытых данных и мониторинг
• Задача

  Сайты с поддержкой IPv6

  Выбор

  IPv6-прокси обходятся заметно дешевле. Проверьте, что целевой сайт отвечает по IPv6: curl -6 -I https://example.com.

  Смотреть: Сайты с поддержкой IPv6
• Задача

  Сайты, строгие к дата-центрам

  Выбор

  Резидентские прокси с ротацией через один шлюз, без собственной логики перебора.

  Смотреть: Сайты, строгие к дата-центрам

Большие списки удобно получать через API, а не переписывать файл вручную. Сценарии сбора данных описаны на странице прокси для парсинга, все типы с ценами в каталоге.