wget
Неинтерактивно скачать содержимое по HTTP, HTTPS и FTP.
Готовые примеры · man page
--accept
Задать список через запятую суффиксов или шаблонов имён файлов, которые принимаются; символы *, ?, [, ] трактуются как шаблон.
--accept-regex
Задать регулярное выражение, по которому принимается полный URL.
--adjust-extension
Добавлять суффикс .html к локальному имени скачанного HTML/xhtml-файла, если URL не оканчивается на \.[Hh][Tt][Mm][Ll]?.
--append-output
Дописывать в logfile вместо перезаписи старого журнала; если файла нет, он создаётся.
--ask-password
Запрашивать пароль для каждого устанавливаемого соединения; несовместимо с --password.
--auth-no-challenge
Посылать Basic HTTP-аутентификацию (открытым текстом имя и пароль) в каждом запросе, как это делали версии Wget до 1.10.2; не рекомендуется.
--background
Сразу после запуска уйти в фон; если файл вывода не задан через -o, сообщения пишутся в wget-log.
--backup-converted
При преобразовании файла сохранять оригинальную версию с суффиксом .orig; влияет на поведение -N.
--backups
Перед перезаписью делать резервную копию существующего файла с суффиксом .1, ротируя старые копии до backups.
--base
Разрешать относительные ссылки от точки отсчёта URL, когда ссылки читаются из HTML-файла через -i/--input-file.
--bind-address
При клиентских TCP/IP-соединениях привязываться к ADDRESS на локальной машине (имя хоста или IP).
--bind-dns-address
[только libcares] Переопределить маршрут DNS-запросов этим адресом; вместе с --dns-servers позволяет обойти настройки /etc/resolv.conf.
--body-data
Отправить string как тело запроса методом, заданным --method; нужна, когда серверу передаются дополнительные данные.
--body-file
Отправить содержимое file как тело запроса методом, заданным --method; в остальном аналогично --body-data.
--ca-certificate
Использовать file как связку сертификатов центров сертификации («CA») для проверки пира; сертификаты обязаны быть в формате PEM.
--ca-directory
Задать directory с сертификатами CA в формате PEM: каждый файл содержит один сертификат, а имя основано на хеше от него.
--certificate
Использовать клиентский сертификат, хранящийся в file; нужен серверам, требующим сертификатов от подключающихся клиентов.
--certificate-type
Задать тип клиентского сертификата: PEM (предполагаемый по умолчанию) или DER, он же ASN1.
--ciphers
Задать строку списка шифров и прочих опций SSL/TLS, применяемых в порядке предпочтения (GnuTLS называет её priority string).
--compression
Выбрать тип сжатия: auto, gzip или none; при auto/gzip Wget просит сервер сжать файл форматом gzip.
--config
Указать файл старта, используемый вместо принятых по умолчанию; --no-config отключает чтение конфигурационных файлов.
--connect-timeout
Задать таймаут установления соединения в seconds секунд; более долгие TCP-соединения прерываются.
--content-disposition
Включить экспериментальную (недоделанную) поддержку заголовков Content-Disposition; приводит к лишним HEAD-запросам и известным багам.
--content-on-error
Не пропускать содержимое ответа, когда сервер отвечает HTTP-кодом, означающим ошибку.
--continue
Продолжить неполностью загруженный файл — докачать то, что начал предыдущий запуск Wget или другая программа.
--convert-file-only
Преобразовывать только часть URL, отвечающую за имя файла, оставляя остальное нетронутым; полезно, когда хост и порт должны остаться прежними.
--convert-links
После окончания загрузки преобразовать ссылки в документе так, чтобы они подходили для локального просмотра (включая встроенные изображения и таблицы стилей).
--crl-file
Указать файл CRL в file; нужен для сертификатов, отозданных центрами сертификации.
--cut-dirs
Игнорировать number компонентов каталога в удалённом пути, давая точный контроль над местом сохранения рекурсивной загрузки.
--debug
Включить отладочный вывод — сведения, важные разработчикам Wget; не работает, если сборка сделана без поддержки отладки.
--default-page
Использовать name как имя файла по умолчанию, когда оно неизвестно (URL, оканчивающиеся косой чертой), вместо index.html.
--delete-after
Удалять каждый скачанный файл сразу после загрузки; полезно для предварительной закачки популярных страниц через прокси.
--directory-prefix
Задать префикс каталога равным prefix: это каталог, куда сохраняются все прочие файлы и подкаталоги, то есть вершина дерева загрузки; по умолчанию «.» (текущий каталог).
--dns-servers
[только libcares] Указанные адреса заменяют стандартные адреса серверов имён, например те, что заданы в /etc/resolv.conf; требуется сборка с libcares.
--dns-timeout
Задать таймаут DNS-резольвинга в seconds секунд; незавершённые за это время запросы считаются неудачными.
--domains
Задать домены, за которыми разрешено следовать: domain-list — список через запятую; ключ -H при этом не включается.
--egd-file
[только OpenSSL] Использовать file как EGD-сокет Entropy Gathering Daemon — пользовательской программы, собирающей энтропию для других программ.
--exclude-directories
Задать список каталогов через запятую, исключаемых из загрузки; элементы могут содержать шаблоны.
--exclude-domains
Задать домены, за которыми следовать не следует.
--execute
Выполнить команду так, будто она часть .wgetrc: вызванная таким образом команда исполняется после команд из .wgetrc, имея над ними приоритет; для нескольких команд используйте несколько -e.
--follow-ftp
Разрешить следование FTP-ссылкам из HTML-файлов.
--follow-tags
Ограничить внутреннюю таблицу пар тег/атрибут Wget подмножеством тегов, рассматриваемых при поиске связанных документов.
--force-directories
Наоборот, всегда создавать иерархию каталогов, даже если иначе она бы не появилась (например fly.srk.fer.hr/robots.txt).
--force-html
Принудительно трактовать читаемый из файла вход как HTML, чтобы получать относительные ссылки с локальных HTML-страниц.
--ftp-password
Задать имя user и пароль password на FTP-сервере; без них пароль по умолчанию -wget@, используемый для анонимного FTP.
--ftp-user
--ftps-clear-data-connection
Все data-соединения вести открытым текстом, оставляя SSL/TLS только на control-канале; для этого посылается команда «PROT C», которую сервер должен одобрить.
--ftps-fallback-to-ftp
Откатиться на FTP, если сервер не поддерживает FTPS; по умолчанию (из соображений безопасности) вместо этого происходит выход с ошибкой.
--ftps-implicit
Использовать FTPS неявно: инициализировать SSL/TLS с самого начала control-соединения, не посылая команду «AUTH TLS» и предполагая FTPS на сервере.
--header
Посылать header-line вместе с остальными заголовками в каждом HTTP-запросе; заголовок передаётся как есть, без переводов строк.
--help
Вывести справку со всеми параметрами командной строки Wget.
--hsts-file
Использовать указанный файл как базу данных HSTS вместо принятой ~/.wget-hsts; файл должен соответствовать формату базы Wget.
--http-password
Задать имя user и пароль password для HTTP-сервера; кодируются по типу вызова схемами basic, digest или NTLM.
--http-user
--https-only
В рекурсивном режиме следовать только HTTPS-ссылкам.
--ignore-case
Не различать регистр при сопоставлении файлов и каталогов; влияет на -R, -A, -I, -X и на globbing при загрузке с FTP.
--ignore-length
Игнорировать ложные заголовки Content-Length, которые шлют некоторые серверы и CGI, из-за чего Wget бесконечно повторяет загрузку.
--ignore-tags
Наоборот, пропустить указанные теги (список через запятую) при рекурсивном поиске документов для загрузки.
--include-directories
Задать список каталогов через запятую, в которые разрешено спускаться при загрузке; элементы могут содержать шаблоны.
--inet6-only
Принудительно соединяться только с IPv4 (--inet4-only/-4) или только с IPv6 (--inet6-only) адресами, игнорируя записи другого семейства.
--input-file
Читать список URL из локального или внешнего file; '-' означает чтение из стандартного ввода, при этом URLs в командной строке не обязательны.
--input-metalink
Загружать файлы, перечисленные в локальном Metalink-файле; поддерживаются версии 3 и 4.
--keep-badhash
Оставлять загруженные Metalink-файлы с несовпавшей контрольной суммой, добавляя к имени суффикс .badhash и не перезаписывая существующие.
--keep-session-cookies
Заставить --save-cookies сохранять и сессионные cookies, которые обычно держатся только в памяти браузера до выхода.
--level
Задать максимальную глубину спуска в подкаталоги равной depth; ограничена 5 по умолчанию, чтобы случайно не скачать огромный сайт.
--limit-rate
Ограничить скорость загрузки величиной amount байт в секунду; допускаются суффиксы k и m, например --limit-rate=20k даёт 20KB/s.
--load-cookies
Загрузить cookies из file перед первой HTTP-загрузкой; файл в формате Netscape cookies.txt нужен для зеркал сайтов, требующих входа.
--local-encoding
Использовать encoding как системную кодировку по умолчанию: она определяет конвертацию URL из аргументов в UTF-8 для поддержки IRI.
--max-redirect
Задать максимальное число редиректов, за которыми следует ресурс; по умолчанию 20, что обычно более чем достаточно.
--metalink-index
Задать порядковый NUMBER метаurl application/metalink4+xml от 1 до общего числа; 0 или inf выбирают первый подходящий.
--metalink-over-http
Посылать HEAD вместо GET и извлекать метаданные Metalink из заголовков ответа; при отсутствии валидных данных происходит возврат к обычной HTTP-загрузке.
--method
Посылать другой HTTP-метод без явного задания через --header=Header-Line: строка, переданная после --method, используется как HTTP-метод для сервера (для RESTful-скриптов).
--mirror
Включить параметры, подходящие для зеркалирования: рекурсия с time-stamping, бесконечная глубина и сохранение FTP-листингов; эквивалентно -r -N -l inf --no-remove-listing.
--no-cache
Отключить серверный кэш, посылая директивы Cache-Control: no-cache и Pragma: no-cache, чтобы получить файл заново, а не закэшированную версию.
--no-check-certificate
Не проверять сертификат сервера по доступным центрам сертификации и не требовать совпадения имени хоста с common name сертификата.
--no-clobber
Не перезаписывать уже скачанный файл: при повторной загрузке в тот же каталог локальный файл остаётся нетронутым.
--no-cookies
Отключить использование cookies — механизма хранения состояния на стороне сервера, при котором ответ повторяется в последующих запросах.
--no-directories
Не строить иерархию каталогов при рекурсивной загрузке: все файлы складываются в текущий каталог, имена при коллизиях расширяются.
--no-dns-cache
Отключить кэширование DNS-ответов; по умолчанию Wget запоминает найденные IP-адреса, чтобы не обращаться к серверу имён повторно.
--no-ftps-resume-ssl
Не возобновлять сеанс SSL/TLS в канале данных; по умолчанию Wget пытается продолжить сеанс, начатый в control-канале, избегая полного повторного рукопожатия.
--no-glob
Запретить подстановку имён файлов (globbing) в FTP-URL.
--no-host-directories
Отключить создание каталогов с префиксом имени хоста, которые по умолчанию появляются при -r http://host/.
--no-hsts
Отключить HSTS (HTTP Strict Transport Security, RFC 6797), по умолчанию поддерживаемый: Wget станет игнорировать заголовки Strict-Transport-Security.
--no-http-keep-alive
Отключить механизм «keep-alive» для HTTP-загрузок; по умолчанию одна TCP-цепочка переиспользуется для нескольких документов с одного сервера.
--no-if-modified-since
Не посылать заголовок If-Modified-Since в режиме -N, вместо него отправлять предварительный HEAD; действует только в режиме -N.
--no-iri
Отключить поддержку интернационализированных URI (IRI), которая включена по умолчанию; состояние менялось бы также командой «iri» в .wgetrc.
--no-netrc
Не искать учётные данные в файле .netrc; по умолчанию он читается, если пароль не передан в командной строке и аутентификация требуется.
--no-parent
Никогда не подниматься в родительский каталог при рекурсивной загрузке, гарантируя, что скачиваются только файлы ниже заданной иерархии.
--no-passive-ftp
Отключить пассивный режим передачи FTP, при котором клиент сам соединяется с сервером для установки data-соединения.
--no-proxy
Не использовать прокси, даже если соответствующая переменная окружения *_proxy определена.
--no-remove-listing
Не удалять временные файлы .listing, создаваемые при FTP-загрузках; в них лежит сырой листинг каталога, полезный для отладки.
--no-use-server-timestamps
Не устанавливать локальное время файла по времени с сервера; по умолчанию отметки удалённого файла воспроизводятся, что нужно для --timestamping.
--no-verbose
Выключить подробность, но не до полной тишины (для этого служит -q): сообщения об ошибках и базовая информация всё равно печатаются.
--no-warc-compression
Не сжимать WARC-файлы с помощью GZIP.
--no-warc-digests
Не вычислять SHA1-дайджесты.
--no-warc-keep-log
Не сохранять журнал в записи WARC.
--output-document
Не раскладывать документы по подходящим файлам, а склеить их и записать в file; '-' выводит в стандартный поток, отключая преобразование ссылок.
--output-file
Записывать все сообщения в logfile; по умолчанию они направляются в стандартный поток ошибок.
--page-requisites
Скачивать все файлы, необходимые для корректного отображения данной HTML-страницы: встроенные изображения, звуки, подключённые таблицы стилей.
--password
Задать имя user и пароль password одновременно для FTP и HTTP; переопределяется опциями --ftp-user/--ftp-password и --http-user/--http-password.
--pinnedpubkey
Проверять пир по указанному файлу открытого ключа (или набору base64-хешей sha256): PEM/DER-файл либо несколько хешей.
--post-data
Использовать POST для всех HTTP-запросов и послать string в теле запроса; в отличие от --post-file, который отправляет содержимое file.
--post-file
Использовать POST для всех HTTP-запросов и послать содержимое file в теле запроса; в остальном работает так же, как --post-data.
--prefer-family
При нескольких адресах сначала пробовать соединения с указанным семейством (IPv4/IPv6/None), порядок, возвращённый DNS, не изменяя.
--preferred-location
Задать предпочтительное расположение для Metalink-ресурсов, когда доступно несколько с одинаковым приоритетом.
--preserve-permissions
Сохранять права удалённого файла вместо прав, выставленных umask.
--private-key
Прочитать закрытый ключ из file, позволяя держать его отдельно от сертификата.
--private-key-type
Задать тип закрытого ключа: PEM (по умолчанию) или DER.
--progress
Выбрать тип индикатора прогресса: «dot» или «bar»; по умолчанию используется рисующий ASCII-полосу «bar».
--protocol-directories
Использовать имя протокола компонентом локального пути, так что wget -r http://host сохраняет в http/host/... .
--proxy-password
Задать имя user и пароль password для аутентификации на прокси-сервере; кодируются схемой basic.
--proxy-user
--quiet
Отключить вывод Wget.
--quota
Задать квоту на объём автоматических загрузок в байтах либо с суффиксами k и m; на загрузку одного файла квота не влияет.
--random-file
[только OpenSSL и LibreSSL] Использовать file как источник случайных данных для инициализации ГПСЧ на системах без /dev/urandom.
--random-wait
Варьировать паузу между запросами случайно в диапазоне от 0 до 2 × --wait, чтобы сайты не вычисляли загрузчик по анализу журналов.
--read-timeout
Задать таймаут чтения и записи в seconds секунд; отсчитывается простой без получения данных, после чего загрузка продолжается заново.
--recursive
Включить рекурсивную загрузку; максимальная глубина по умолчанию равна 5.
--referer
Включить заголовок `Referer: url' в HTTP-запрос; полезно для документов, серверная обработка которых выдаёт их только браузеру с правильной ссылкой-источником.
--regex-type
Задать тип регулярных выражений: posix или pcre; для pcre требуется сборка Wget с поддержкой libpcre.
--reject
Задать список через запятую суффиксов или шаблонов имён файлов, которые отвергаются; символы *, ?, [, ] трактуются как шаблон.
--reject-regex
Задать регулярное выражение, по которому отвергается полный URL.
--rejected-log
Журналировать все отклонённые URL в logfile значениями через запятую: причина отказа, сам URL и родительский URL, в котором он найден.
--relative
Следовать только относительным ссылкам; полезно для загрузки конкретной домашней страницы без отвлекающих ссылок, в том числе с тех же хостов.
--remote-encoding
Использовать encoding как кодировку удалённого сервера по умолчанию: она определяет конвертацию найденных URI в UTF-8 при рекурсивной загрузке.
--report-speed
Выводить пропускную способность в виде type; принятое значение — bits.
--restrict-file-names
Изменить набор символов из удалённых URL, которые обязательно экранируются в виде %HH при генерации локальных имён файлов.
--retr-symlinks
При рекурсивной загрузке FTP-каталогов проходить по символьным ссылкам и скачивать указываемые ими файлы, а не сами ссылки.
--retry-connrefused
Считать «connection refused» временной ошибкой и повторять попытку; по умолчанию Wget сдаётся, полагая, что сервер вообще не работает.
--retry-on-host-error
Считать ошибки хоста, такие как «Temporary failure in name resolution», нефатальными временными сбоями и повторять попытку.
--retry-on-http-error
Считать указанные трёхзначные HTTP-коды (список через запятую) нефатальными временными ошибками и повторять загрузку.
--save-cookies
Сохранить cookies в file перед выходом; просроченные и «сессонные» cookies без срока годности при этом не сохраняются (см. --keep-session-cookies).
--save-headers
Сохранять заголовки, присланные HTTP-сервером, в файл перед собственно содержимым, разделяя их пустой строкой.
--secure-protocol
Выбрать используемый безопасный протокол: auto, SSLv2, SSLv3, TLSv1, TLSv1_1, TLSv1_2, TLSv1_3 или PFS; auto отдаёт выбор библиотеке SSL.
--server-response
Печатать заголовки, отправленные HTTP-серверами, и ответы, присланные FTP-серверами.
--show-progress
Заставить wget показывать полосу прогресса при любом уровне подробности, а не только в подробном режиме.
--span-hosts
Разрешить переходы между хостами при рекурсивной загрузке.
--spider
Действовать как веб-паук: не скачивать страницы, а лишь проверять их наличие, например для проверки списка закладок.
--start-pos
Начать загрузку с нулевой позиции OFFSET в байтах, килобайтах (суффикс k) или мегабайтах (суффикс m); имеет приоритет над --continue.
--strict-comments
Включить строгий разбор HTML-комментариев; по умолчанию комментарий завершается на первом встречном -->, хотя спецификация требует SGML-деклараций.
--timeout
Установить сетевой таймаут в seconds секунд; эквивалентно одновременному заданию --dns-timeout, --connect-timeout и --read-timeout.
--timestamping
Включить сверку по времени изменения (time-stamping).
--tries
Задать число попыток равным number; 0 или inf означают бесконечные повторы, по умолчанию 20 (фатальные ошибки вроде 404 не повторяются).
--trust-server-names
При редиректе брать локальное имя файла из URL перенаправления, а не из исходного; удобно при рекурсивной загрузке многих сайтов.
--unlink
Удалять (unlink) файл вместо перезаписи существующего; полезно при загрузке в каталог с жёсткими ссылками.
--use-askpass
Запрашивать имя пользователя и пароль через указанную команду; без аргумента берётся команда из WGET_ASKPASS, иначе из SSH_ASKPASS.
--user
--user-agent
Идентифицироваться перед HTTP-сервером как agent-string через поле заголовка User-Agent.
--verbose
Включить подробный вывод со всеми доступными данными; подробный режим включён по умолчанию.
--version
Показать версию Wget.
--wait
Ждать указанное число секунд между загрузками, снижая нагрузку на сервер; время можно задавать в минутах (m), часах (h) и днях (d).
--waitretry
Ждать только между повторными попытками неудачных загрузок, используя линейное увеличение паузы от 1 секунды до retry timeout.
--warc-cdx
Создавать CDX-индексные файлы.
--warc-dedup
Не сохранять записи, перечисленные в этом CDX-файле.
--warc-file
Использовать file как целевой WARC-файл.
--warc-header
Использовать string в качестве записи warcinfo.
--warc-max-size
Установить максимальный размер WARC-файлов равным size.
--warc-tempdir
Указать расположение временных файлов, создаваемых писателем WARC.
--xattr
Разрешить хранить исходный URL и значение заголовка Referer в расширенных атрибутах файла; помните, что URL может содержать приватные данные.
-A
Задать списки через запятую суффиксов или шаблонов имён файлов, которые принимаются (accept) или отвергаются (reject); символы *, ?, [, ] трактуются как шаблон.
-B
-D
-F
-I
-O
-P
-Q
-R
-T
-U
-V
-X
-a
-b
-c
-d
-e
-h
-i
-k
-l
-m
-nH
-nc
-nd
-np
-nv
-o
-p
-q
-r
-t
-v
-w
-x