Wget – удобный способ скачивать файлы

Wget (The non-interactive network downloader) — это бесплатная утилита командной строки, которая используется для загрузки файлов по протоколу HTTP, HTTPS и FTP. Она доступна на большинстве операционных систем, включая Linux, macOS и Windows.

Основные возможности wget включают:

• Скачивание файлов и метаданных с HTTP, HTTPS и FTP.
• Рекурсивное скачивание всех файлов в заданной директории или на сайте.
• Поддержка прокси-серверов и ссылок через SOCKS 4/5 и HTTP(S).
• Поддержка авторизации пользователей и паролей для защищенных сайтов.
• Сохранение и загрузка cookie-файлов для автоматической аутентификации.
• Использование индивидуальных заголовков http для контроля запросов.

Примеры кода для использования wget:

1. Скачивание файла:

wget https://example.com/file.txt

2. Скачивание файла и изменение имени файла при сохранении:

wget https://example.com/file.txt -O newfile.txt

3. Рекурсивное скачивание всего содержимого сайта:

wget -r https://example.com

4. Использование авторизации пользователя и пароля:

wget --user=username --password=password https://example.com/file.txt

5. Скачивание через прокси-сервер:

wget --proxy=on --proxy-server=proxy.example.com https://example.com/file.txt

6. Сохранение cookie-файла после успешной аутентификации:

wget --save-cookies cookies.txt --keep-session-cookies --post-data "user=username&pass=password" https://example.com/login

В заключении, использование wget может быть очень полезным при загрузке файлов и данных с различных сайтов, особенно когда нужно автоматизировать процесс. Доступность на большинстве операционных систем и использование командной строки делает его незаменимым инструментом для различных задач в интернете.