wget

Неинтерактивно скачать содержимое по HTTP, HTTPS и FTP.

Готовые примеры · man page

Флаги

Задать список через запятую суффиксов или шаблонов имён файлов, которые принимаются; символы *, ?, [, ] трактуются как шаблон.

Задать регулярное выражение, по которому принимается полный URL.

Добавлять суффикс .html к локальному имени скачанного HTML/xhtml-файла, если URL не оканчивается на \.[Hh][Tt][Mm][Ll]?.

Дописывать в logfile вместо перезаписи старого журнала; если файла нет, он создаётся.

Запрашивать пароль для каждого устанавливаемого соединения; несовместимо с --password.

Посылать Basic HTTP-аутентификацию (открытым текстом имя и пароль) в каждом запросе, как это делали версии Wget до 1.10.2; не рекомендуется.

Сразу после запуска уйти в фон; если файл вывода не задан через -o, сообщения пишутся в wget-log.

При преобразовании файла сохранять оригинальную версию с суффиксом .orig; влияет на поведение -N.

Перед перезаписью делать резервную копию существующего файла с суффиксом .1, ротируя старые копии до backups.

Разрешать относительные ссылки от точки отсчёта URL, когда ссылки читаются из HTML-файла через -i/--input-file.

При клиентских TCP/IP-соединениях привязываться к ADDRESS на локальной машине (имя хоста или IP).

[только libcares] Переопределить маршрут DNS-запросов этим адресом; вместе с --dns-servers позволяет обойти настройки /etc/resolv.conf.

Отправить string как тело запроса методом, заданным --method; нужна, когда серверу передаются дополнительные данные.

Отправить содержимое file как тело запроса методом, заданным --method; в остальном аналогично --body-data.

Использовать file как связку сертификатов центров сертификации («CA») для проверки пира; сертификаты обязаны быть в формате PEM.

Задать directory с сертификатами CA в формате PEM: каждый файл содержит один сертификат, а имя основано на хеше от него.

Использовать клиентский сертификат, хранящийся в file; нужен серверам, требующим сертификатов от подключающихся клиентов.

Задать тип клиентского сертификата: PEM (предполагаемый по умолчанию) или DER, он же ASN1.

Задать строку списка шифров и прочих опций SSL/TLS, применяемых в порядке предпочтения (GnuTLS называет её priority string).

Выбрать тип сжатия: auto, gzip или none; при auto/gzip Wget просит сервер сжать файл форматом gzip.

Указать файл старта, используемый вместо принятых по умолчанию; --no-config отключает чтение конфигурационных файлов.

Задать таймаут установления соединения в seconds секунд; более долгие TCP-соединения прерываются.

Включить экспериментальную (недоделанную) поддержку заголовков Content-Disposition; приводит к лишним HEAD-запросам и известным багам.

Не пропускать содержимое ответа, когда сервер отвечает HTTP-кодом, означающим ошибку.

Продолжить неполностью загруженный файл — докачать то, что начал предыдущий запуск Wget или другая программа.

Преобразовывать только часть URL, отвечающую за имя файла, оставляя остальное нетронутым; полезно, когда хост и порт должны остаться прежними.

После окончания загрузки преобразовать ссылки в документе так, чтобы они подходили для локального просмотра (включая встроенные изображения и таблицы стилей).

Указать файл CRL в file; нужен для сертификатов, отозданных центрами сертификации.

Игнорировать number компонентов каталога в удалённом пути, давая точный контроль над местом сохранения рекурсивной загрузки.

Включить отладочный вывод — сведения, важные разработчикам Wget; не работает, если сборка сделана без поддержки отладки.

Использовать name как имя файла по умолчанию, когда оно неизвестно (URL, оканчивающиеся косой чертой), вместо index.html.

Удалять каждый скачанный файл сразу после загрузки; полезно для предварительной закачки популярных страниц через прокси.

Задать префикс каталога равным prefix: это каталог, куда сохраняются все прочие файлы и подкаталоги, то есть вершина дерева загрузки; по умолчанию «.» (текущий каталог).

[только libcares] Указанные адреса заменяют стандартные адреса серверов имён, например те, что заданы в /etc/resolv.conf; требуется сборка с libcares.

Задать таймаут DNS-резольвинга в seconds секунд; незавершённые за это время запросы считаются неудачными.

Задать домены, за которыми разрешено следовать: domain-list — список через запятую; ключ -H при этом не включается.

[только OpenSSL] Использовать file как EGD-сокет Entropy Gathering Daemon — пользовательской программы, собирающей энтропию для других программ.

Задать список каталогов через запятую, исключаемых из загрузки; элементы могут содержать шаблоны.

Задать домены, за которыми следовать не следует.

Выполнить команду так, будто она часть .wgetrc: вызванная таким образом команда исполняется после команд из .wgetrc, имея над ними приоритет; для нескольких команд используйте несколько -e.

Разрешить следование FTP-ссылкам из HTML-файлов.

Ограничить внутреннюю таблицу пар тег/атрибут Wget подмножеством тегов, рассматриваемых при поиске связанных документов.

Наоборот, всегда создавать иерархию каталогов, даже если иначе она бы не появилась (например fly.srk.fer.hr/robots.txt).

Принудительно трактовать читаемый из файла вход как HTML, чтобы получать относительные ссылки с локальных HTML-страниц.

Задать имя user и пароль password на FTP-сервере; без них пароль по умолчанию -wget@, используемый для анонимного FTP.

Задать имя user и пароль password на FTP-сервере; без них пароль по умолчанию -wget@, используемый для анонимного FTP.

Все data-соединения вести открытым текстом, оставляя SSL/TLS только на control-канале; для этого посылается команда «PROT C», которую сервер должен одобрить.

Откатиться на FTP, если сервер не поддерживает FTPS; по умолчанию (из соображений безопасности) вместо этого происходит выход с ошибкой.

Использовать FTPS неявно: инициализировать SSL/TLS с самого начала control-соединения, не посылая команду «AUTH TLS» и предполагая FTPS на сервере.

Посылать header-line вместе с остальными заголовками в каждом HTTP-запросе; заголовок передаётся как есть, без переводов строк.

Вывести справку со всеми параметрами командной строки Wget.

Использовать указанный файл как базу данных HSTS вместо принятой ~/.wget-hsts; файл должен соответствовать формату базы Wget.

Задать имя user и пароль password для HTTP-сервера; кодируются по типу вызова схемами basic, digest или NTLM.

Задать имя user и пароль password для HTTP-сервера; кодируются по типу вызова схемами basic, digest или NTLM.

В рекурсивном режиме следовать только HTTPS-ссылкам.

Не различать регистр при сопоставлении файлов и каталогов; влияет на -R, -A, -I, -X и на globbing при загрузке с FTP.

Игнорировать ложные заголовки Content-Length, которые шлют некоторые серверы и CGI, из-за чего Wget бесконечно повторяет загрузку.

Наоборот, пропустить указанные теги (список через запятую) при рекурсивном поиске документов для загрузки.

Задать список каталогов через запятую, в которые разрешено спускаться при загрузке; элементы могут содержать шаблоны.

Принудительно соединяться только с IPv4 (--inet4-only/-4) или только с IPv6 (--inet6-only) адресами, игнорируя записи другого семейства.

Читать список URL из локального или внешнего file; '-' означает чтение из стандартного ввода, при этом URLs в командной строке не обязательны.

Загружать файлы, перечисленные в локальном Metalink-файле; поддерживаются версии 3 и 4.

Оставлять загруженные Metalink-файлы с несовпавшей контрольной суммой, добавляя к имени суффикс .badhash и не перезаписывая существующие.

Заставить --save-cookies сохранять и сессионные cookies, которые обычно держатся только в памяти браузера до выхода.

Задать максимальную глубину спуска в подкаталоги равной depth; ограничена 5 по умолчанию, чтобы случайно не скачать огромный сайт.

Ограничить скорость загрузки величиной amount байт в секунду; допускаются суффиксы k и m, например --limit-rate=20k даёт 20KB/s.

Загрузить cookies из file перед первой HTTP-загрузкой; файл в формате Netscape cookies.txt нужен для зеркал сайтов, требующих входа.

Использовать encoding как системную кодировку по умолчанию: она определяет конвертацию URL из аргументов в UTF-8 для поддержки IRI.

Задать максимальное число редиректов, за которыми следует ресурс; по умолчанию 20, что обычно более чем достаточно.

Задать порядковый NUMBER метаurl application/metalink4+xml от 1 до общего числа; 0 или inf выбирают первый подходящий.

Посылать HEAD вместо GET и извлекать метаданные Metalink из заголовков ответа; при отсутствии валидных данных происходит возврат к обычной HTTP-загрузке.

Посылать другой HTTP-метод без явного задания через --header=Header-Line: строка, переданная после --method, используется как HTTP-метод для сервера (для RESTful-скриптов).

Включить параметры, подходящие для зеркалирования: рекурсия с time-stamping, бесконечная глубина и сохранение FTP-листингов; эквивалентно -r -N -l inf --no-remove-listing.

Отключить серверный кэш, посылая директивы Cache-Control: no-cache и Pragma: no-cache, чтобы получить файл заново, а не закэшированную версию.

Не проверять сертификат сервера по доступным центрам сертификации и не требовать совпадения имени хоста с common name сертификата.

Не перезаписывать уже скачанный файл: при повторной загрузке в тот же каталог локальный файл остаётся нетронутым.

Отключить использование cookies — механизма хранения состояния на стороне сервера, при котором ответ повторяется в последующих запросах.

Не строить иерархию каталогов при рекурсивной загрузке: все файлы складываются в текущий каталог, имена при коллизиях расширяются.

Отключить кэширование DNS-ответов; по умолчанию Wget запоминает найденные IP-адреса, чтобы не обращаться к серверу имён повторно.

Не возобновлять сеанс SSL/TLS в канале данных; по умолчанию Wget пытается продолжить сеанс, начатый в control-канале, избегая полного повторного рукопожатия.

Запретить подстановку имён файлов (globbing) в FTP-URL.

Отключить создание каталогов с префиксом имени хоста, которые по умолчанию появляются при -r http://host/.

Отключить HSTS (HTTP Strict Transport Security, RFC 6797), по умолчанию поддерживаемый: Wget станет игнорировать заголовки Strict-Transport-Security.

Отключить механизм «keep-alive» для HTTP-загрузок; по умолчанию одна TCP-цепочка переиспользуется для нескольких документов с одного сервера.

Не посылать заголовок If-Modified-Since в режиме -N, вместо него отправлять предварительный HEAD; действует только в режиме -N.

Отключить поддержку интернационализированных URI (IRI), которая включена по умолчанию; состояние менялось бы также командой «iri» в .wgetrc.

Не искать учётные данные в файле .netrc; по умолчанию он читается, если пароль не передан в командной строке и аутентификация требуется.

Никогда не подниматься в родительский каталог при рекурсивной загрузке, гарантируя, что скачиваются только файлы ниже заданной иерархии.

Отключить пассивный режим передачи FTP, при котором клиент сам соединяется с сервером для установки data-соединения.

Не использовать прокси, даже если соответствующая переменная окружения *_proxy определена.

Не удалять временные файлы .listing, создаваемые при FTP-загрузках; в них лежит сырой листинг каталога, полезный для отладки.

Не устанавливать локальное время файла по времени с сервера; по умолчанию отметки удалённого файла воспроизводятся, что нужно для --timestamping.

Выключить подробность, но не до полной тишины (для этого служит -q): сообщения об ошибках и базовая информация всё равно печатаются.

Не сжимать WARC-файлы с помощью GZIP.

Не вычислять SHA1-дайджесты.

Не сохранять журнал в записи WARC.

Не раскладывать документы по подходящим файлам, а склеить их и записать в file; '-' выводит в стандартный поток, отключая преобразование ссылок.

Записывать все сообщения в logfile; по умолчанию они направляются в стандартный поток ошибок.

Скачивать все файлы, необходимые для корректного отображения данной HTML-страницы: встроенные изображения, звуки, подключённые таблицы стилей.

Задать имя user и пароль password одновременно для FTP и HTTP; переопределяется опциями --ftp-user/--ftp-password и --http-user/--http-password.

Проверять пир по указанному файлу открытого ключа (или набору base64-хешей sha256): PEM/DER-файл либо несколько хешей.

Использовать POST для всех HTTP-запросов и послать string в теле запроса; в отличие от --post-file, который отправляет содержимое file.

Использовать POST для всех HTTP-запросов и послать содержимое file в теле запроса; в остальном работает так же, как --post-data.

При нескольких адресах сначала пробовать соединения с указанным семейством (IPv4/IPv6/None), порядок, возвращённый DNS, не изменяя.

Задать предпочтительное расположение для Metalink-ресурсов, когда доступно несколько с одинаковым приоритетом.

Сохранять права удалённого файла вместо прав, выставленных umask.

Прочитать закрытый ключ из file, позволяя держать его отдельно от сертификата.

Задать тип закрытого ключа: PEM (по умолчанию) или DER.

Выбрать тип индикатора прогресса: «dot» или «bar»; по умолчанию используется рисующий ASCII-полосу «bar».

Использовать имя протокола компонентом локального пути, так что wget -r http://host сохраняет в http/host/... .

Задать имя user и пароль password для аутентификации на прокси-сервере; кодируются схемой basic.

Задать имя user и пароль password для аутентификации на прокси-сервере; кодируются схемой basic.

Отключить вывод Wget.

Задать квоту на объём автоматических загрузок в байтах либо с суффиксами k и m; на загрузку одного файла квота не влияет.

[только OpenSSL и LibreSSL] Использовать file как источник случайных данных для инициализации ГПСЧ на системах без /dev/urandom.

Варьировать паузу между запросами случайно в диапазоне от 0 до 2 × --wait, чтобы сайты не вычисляли загрузчик по анализу журналов.

Задать таймаут чтения и записи в seconds секунд; отсчитывается простой без получения данных, после чего загрузка продолжается заново.

Включить рекурсивную загрузку; максимальная глубина по умолчанию равна 5.

Включить заголовок `Referer: url' в HTTP-запрос; полезно для документов, серверная обработка которых выдаёт их только браузеру с правильной ссылкой-источником.

Задать тип регулярных выражений: posix или pcre; для pcre требуется сборка Wget с поддержкой libpcre.

Задать список через запятую суффиксов или шаблонов имён файлов, которые отвергаются; символы *, ?, [, ] трактуются как шаблон.

Задать регулярное выражение, по которому отвергается полный URL.

Журналировать все отклонённые URL в logfile значениями через запятую: причина отказа, сам URL и родительский URL, в котором он найден.

Следовать только относительным ссылкам; полезно для загрузки конкретной домашней страницы без отвлекающих ссылок, в том числе с тех же хостов.

Использовать encoding как кодировку удалённого сервера по умолчанию: она определяет конвертацию найденных URI в UTF-8 при рекурсивной загрузке.

Выводить пропускную способность в виде type; принятое значение — bits.

Изменить набор символов из удалённых URL, которые обязательно экранируются в виде %HH при генерации локальных имён файлов.

При рекурсивной загрузке FTP-каталогов проходить по символьным ссылкам и скачивать указываемые ими файлы, а не сами ссылки.

Считать «connection refused» временной ошибкой и повторять попытку; по умолчанию Wget сдаётся, полагая, что сервер вообще не работает.

Считать ошибки хоста, такие как «Temporary failure in name resolution», нефатальными временными сбоями и повторять попытку.

Считать указанные трёхзначные HTTP-коды (список через запятую) нефатальными временными ошибками и повторять загрузку.

Сохранить cookies в file перед выходом; просроченные и «сессонные» cookies без срока годности при этом не сохраняются (см. --keep-session-cookies).

Сохранять заголовки, присланные HTTP-сервером, в файл перед собственно содержимым, разделяя их пустой строкой.

Выбрать используемый безопасный протокол: auto, SSLv2, SSLv3, TLSv1, TLSv1_1, TLSv1_2, TLSv1_3 или PFS; auto отдаёт выбор библиотеке SSL.

Печатать заголовки, отправленные HTTP-серверами, и ответы, присланные FTP-серверами.

Заставить wget показывать полосу прогресса при любом уровне подробности, а не только в подробном режиме.

Разрешить переходы между хостами при рекурсивной загрузке.

Действовать как веб-паук: не скачивать страницы, а лишь проверять их наличие, например для проверки списка закладок.

Начать загрузку с нулевой позиции OFFSET в байтах, килобайтах (суффикс k) или мегабайтах (суффикс m); имеет приоритет над --continue.

Включить строгий разбор HTML-комментариев; по умолчанию комментарий завершается на первом встречном -->, хотя спецификация требует SGML-деклараций.

Установить сетевой таймаут в seconds секунд; эквивалентно одновременному заданию --dns-timeout, --connect-timeout и --read-timeout.

Включить сверку по времени изменения (time-stamping).

Задать число попыток равным number; 0 или inf означают бесконечные повторы, по умолчанию 20 (фатальные ошибки вроде 404 не повторяются).

При редиректе брать локальное имя файла из URL перенаправления, а не из исходного; удобно при рекурсивной загрузке многих сайтов.

Удалять (unlink) файл вместо перезаписи существующего; полезно при загрузке в каталог с жёсткими ссылками.

Запрашивать имя пользователя и пароль через указанную команду; без аргумента берётся команда из WGET_ASKPASS, иначе из SSH_ASKPASS.

Задать имя user и пароль password одновременно для FTP и HTTP; переопределяется опциями --ftp-user/--ftp-password и --http-user/--http-password.

Идентифицироваться перед HTTP-сервером как agent-string через поле заголовка User-Agent.

Включить подробный вывод со всеми доступными данными; подробный режим включён по умолчанию.

Показать версию Wget.

Ждать указанное число секунд между загрузками, снижая нагрузку на сервер; время можно задавать в минутах (m), часах (h) и днях (d).

Ждать только между повторными попытками неудачных загрузок, используя линейное увеличение паузы от 1 секунды до retry timeout.

Создавать CDX-индексные файлы.

Не сохранять записи, перечисленные в этом CDX-файле.

Использовать file как целевой WARC-файл.

Использовать string в качестве записи warcinfo.

Установить максимальный размер WARC-файлов равным size.

Указать расположение временных файлов, создаваемых писателем WARC.

Разрешить хранить исходный URL и значение заголовка Referer в расширенных атрибутах файла; помните, что URL может содержать приватные данные.

Задать списки через запятую суффиксов или шаблонов имён файлов, которые принимаются (accept) или отвергаются (reject); символы *, ?, [, ] трактуются как шаблон.

Задать домены, за которыми разрешено следовать: domain-list — список через запятую; ключ -H при этом не включается.

Задать список каталогов через запятую, в которые разрешено спускаться при загрузке; элементы могут содержать шаблоны.

Не раскладывать документы по подходящим файлам, а склеить их и записать в file; '-' выводит в стандартный поток, отключая преобразование ссылок.

Задать префикс каталога равным prefix: это каталог, куда сохраняются все прочие файлы и подкаталоги, то есть вершина дерева загрузки; по умолчанию «.» (текущий каталог).

Задать квоту на объём автоматических загрузок в байтах либо с суффиксами k и m; на загрузку одного файла квота не влияет.

Задать списки через запятую суффиксов или шаблонов имён файлов, которые принимаются (accept) или отвергаются (reject); символы *, ?, [, ] трактуются как шаблон.

Установить сетевой таймаут в seconds секунд; эквивалентно одновременному заданию --dns-timeout, --connect-timeout и --read-timeout.

Идентифицироваться перед HTTP-сервером как agent-string через поле заголовка User-Agent.

Задать список каталогов через запятую, исключаемых из загрузки; элементы могут содержать шаблоны.

Дописывать в logfile вместо перезаписи старого журнала; если файла нет, он создаётся.

Сразу после запуска уйти в фон; если файл вывода не задан через -o, сообщения пишутся в wget-log.

Продолжить неполностью загруженный файл — докачать то, что начал предыдущий запуск Wget или другая программа.

Включить отладочный вывод — сведения, важные разработчикам Wget; не работает, если сборка сделана без поддержки отладки.

Выполнить команду так, будто она часть .wgetrc: вызванная таким образом команда исполняется после команд из .wgetrc, имея над ними приоритет; для нескольких команд используйте несколько -e.

Вывести справку со всеми параметрами командной строки Wget.

Читать список URL из локального или внешнего file; '-' означает чтение из стандартного ввода, при этом URLs в командной строке не обязательны.

После окончания загрузки преобразовать ссылки в документе так, чтобы они подходили для локального просмотра (включая встроенные изображения и таблицы стилей).

Задать максимальную глубину спуска в подкаталоги равной depth; ограничена 5 по умолчанию, чтобы случайно не скачать огромный сайт.

Включить параметры, подходящие для зеркалирования: рекурсия с time-stamping, бесконечная глубина и сохранение FTP-листингов; эквивалентно -r -N -l inf --no-remove-listing.

Отключить создание каталогов с префиксом имени хоста, которые по умолчанию появляются при -r http://host/.

Не перезаписывать уже скачанный файл: при повторной загрузке в тот же каталог локальный файл остаётся нетронутым.

Не строить иерархию каталогов при рекурсивной загрузке: все файлы складываются в текущий каталог, имена при коллизиях расширяются.

Никогда не подниматься в родительский каталог при рекурсивной загрузке, гарантируя, что скачиваются только файлы ниже заданной иерархии.

Выключить подробность, но не до полной тишины (для этого служит -q): сообщения об ошибках и базовая информация всё равно печатаются.

Записывать все сообщения в logfile; по умолчанию они направляются в стандартный поток ошибок.

Скачивать все файлы, необходимые для корректного отображения данной HTML-страницы: встроенные изображения, звуки, подключённые таблицы стилей.

Отключить вывод Wget.

Включить рекурсивную загрузку; максимальная глубина по умолчанию равна 5.

Задать число попыток равным number; 0 или inf означают бесконечные повторы, по умолчанию 20 (фатальные ошибки вроде 404 не повторяются).

Включить подробный вывод со всеми доступными данными; подробный режим включён по умолчанию.

Ждать указанное число секунд между загрузками, снижая нагрузку на сервер; время можно задавать в минутах (m), часах (h) и днях (d).

Наоборот, всегда создавать иерархию каталогов, даже если иначе она бы не появилась (например fly.srk.fer.hr/robots.txt).

wget

Построчное объяснение

wget (command)
Неинтерактивно скачать содержимое по HTTP, HTTPS и FTP.

История