Вопросы с меткой [wget]
GNU Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его легко вызывать из сценариев, заданий Cron, терминалов без поддержки X Window System (X11) и т.д.
735 вопросов
8
голосов
2ответа
3k показов
Wget рекурсивно ограничен в поддомене
Я хочу скачать следующий поддомен с рекурсивной опцией, используя wget: www.example.com/A/B Так что, если этот URL имеет ссылки на www.example.com/A/B/C и www.example.com/A/B/D , эти два также должны ...
8
голосов
2ответа
545 показов
Xargs и Wget перестают работать через час
Запуск скрипта с Cygwin на Windows XP с двухъядерным процессором и 4 Гбайт памяти cat url_list.txt | xargs -P50 wget -i Я пытаюсь перебрать 4 ГБ URL для загрузки (около 43 миллионов) Работает ...
8
голосов
2ответа
37k показов
Как я могу использовать wget для отправки данных POST?
Я хочу сделать следующий запрос POST на мой сервер с помощью wget: email=abc@abc.com&file1=@FILE_HERE&file2=@FILE_HERE В приведенном выше запросе есть три параметра POST, которые называются email , ...
8
голосов
3ответа
46k показов
Почему изображения с некоторых страниц Tumblr не загружаются, а использование wget на них работает?
Помогая другу с подключением к Интернету, потому что «некоторые страницы не загружаются», я заметил, что проблема заключалась в том, что изображения некоторых постов в блогах не загружались в ...
8
голосов
2ответа
17k показов
Использование wget для загрузки файлов PDF с сайта, для которого необходимо установить файлы cookie
Я хочу зайти на сайт газеты, а затем загрузить их электронные копии (в формате PDF). Сайт требует, чтобы я вошел в систему, используя свой адрес электронной почты и пароль, а затем разрешил мне ...
7
голосов
2ответа
9k показов
Wget сохранить куки не работает
Я пытался войти в pyload через веб-API, но wget не сохраняет куки, и я не понимаю, почему. Я использую следующую команду: wget --delete-after --keep-session-cookies --save-cookies=my_cookies.txt ...
7
голосов
2ответа
5k показов
Загрузка нескольких файлов и указание выходных имен файлов с помощью wget
Я использую wget с опцией -i для загрузки списка файлов с URL. Однако я хочу указать имена, с которыми эти файлы будут сохранены. Я вижу, что вы можете сделать это с одним файлом, используя -O , и ...
7
голосов
1ответ
3k показов
Где я могу найти сборку Windows wget 1.13.4?
Я не могу найти последнюю версию Wget легко с помощью поиска Google. Я ищу версию Windows, которую я могу использовать, и, кажется, никто не имеет ее.
7
голосов
1ответ
14k показов
Как пройти страницу входа с помощью wget?
Я пытаюсь использовать Wget для загрузки своих личных страниц GitHub, но я не могу пройти через экран входа в систему. Как отправить login/password используя данные поста на странице входа в систему, ...
7
голосов
3ответа
12k показов
Получение всех имен файлов (не содержимого) рекурсивно из каталога http
Крупный биологический исследовательский проект решил сделать свой архив доступным по https здесь: https://tcga-data.nci.nih.gov/tcgafiles/ftp_auth/distro_ftpusers/anonymous/tumor/ К сожалению, ...
7
голосов
2ответа
4k показов
Звоните, но не загружайте страницу с помощью wget
Мне было интересно, был ли какой-либо аргумент, который позволял бы мне использовать wget и "вызывать" страницу, но без загрузки страницы. Проблема в том, что когда вы вызываете wget на странице, он ...
7
голосов
7ответов
33k показов
Как рекурсивно скачать весь веб-каталог?
У меня есть веб-каталог, в котором есть много папок и много подпапок, содержащих файлы. Мне нужно скачать все, используя Wget или Bash.
7
голосов
11ответов
38k показов
Где на моем компьютере Wget загрузил это изображение?
Я использую Windows XP. Я просто скачал wget и поместил его в папку C:\Windows . Затем я запустил эту командную строку (пытаясь загрузить изображение с веб-сайта): wget -r -A ".jpg,.gif,.png" ...
6
голосов
4ответа
45k показов
Wget возвращает ошибку: «Невозможно установить соединение SSL».
Когда я пытаюсь запустить Wget со следующими параметрами: E:\Program Files\GnuWin32\bin>wget -p --html-extension --convert-links --no-check-certificate https://minecraft.net/en-us/ SYSTEM_WGETRC = ...
6
голосов
1ответ
707 показов
Как получить несжатый контент при использовании рекурсивного wget?
Я загружаю много отдельных страниц со всем статическим контентом (js, css, imgs ...) через рекурсивный wget. Выяснилось, что обслуживаемый контент, который был сжат (gzip), хранится в wget в сжатом ...
6
голосов
3ответа
3k показов
Загрузка XCode с помощью wget или curl
Есть ли способ загрузить XCode с помощью curl или wget? РЕДАКТИРОВАТЬ: Почему следующий фрагмент локон не работает? Сначала я захожу на сайт Apple: curl -d "theAccountName=USERNAME&theAccountPW=PASS" ...
6
голосов
2ответа
3k показов
Как использовать wget в списке изображений
Там есть этот красивый мальчик, который периодически загружает свои фотографии на свой сайт. Я пытаюсь автоматизировать процесс загрузки этих изображений на мой компьютер. Пока что я могу скачать его ...
6
голосов
1ответ
7k показов
Файл .bat: выполняется только первая строка - почему?
У меня есть первый файл .bat, down.bat, для загрузки трейлеров фильмов с apple.com: C:\wget.exe -U "QuickTime/7.6.2" %1 И у меня также есть второй файл, batch.bat со всеми трейлерами, которые я хочу ...
6
голосов
4ответа
7k показов
Wget не конвертирует ссылки
Я пытаюсь отразить довольно большой сайт (более 20 000 страниц) до капитального ремонта. По сути, мне нужна резервная копия перед тем, как перейти к новой, на случай, если мы забыли что-то, что нам ...
6
голосов
1ответ
4k показов
Как загрузить один файл из двух частей в разные места с помощью wget?
Привет! Мне нужно использовать wget (или curl, aget и т.д.), Чтобы загрузить файл в два разных места назначения, загрузив его в две половины: First: 0 to 490000 bytes of file Second: 490001 to ...
6
голосов
1ответ
1k показов
Используйте wget для загрузки всех связанных mp3 файлов с сайта
Я пытаюсь использовать wget для загрузки mp3-файлов с https://musicforprogramming.net/ . Как вы можете видеть, есть ссылка на каждую страницу трека (например, ...
6
голосов
3ответа
4k показов
Где я могу установить сертификаты, чтобы wget и другие программы MacPorts могли их найти?
Я должен установить пользовательские сертификаты, чтобы они работали с wget, установленным через MacPorts. Я не могу найти правильный каталог. Я попытался установить в /System /Library /OpenSSL ...
6
голосов
4ответа
19k показов
Вынудить Wget к таймауту
Как я могу заставить wget остановиться через X секунд? У меня есть скрипт, который загружает изображения, и время от времени он застревает и отказывается от «тайм-аута». Что я пробовал: --tries=3 ...
6
голосов
1ответ
8k показов
"wput" несколько файлов из командной строки?
Вы можете загрузить один файл с помощью wput: wput file ftp://username:passwd@ipaddress/file Есть ли способ загрузить несколько? Может быть что-то вроде: wput {file1,file2} ...
6
голосов
1ответ
9k показов
Исключить список определенных файлов в wget
Я пытаюсь загрузить много страниц с веб-сайта по коммутируемой линии, и это может быть очень медленным. Я почти получил идеальную команду wget , но поскольку я загружаю страницы с одного и того же ...
6
голосов
1ответ
5k показов
Wget: рекурсивно получить URL-адреса с определенного сайта
Я пытаюсь рекурсивно извлечь все возможные URL-адреса (URL-адреса внутренних страниц) с веб-сайта. Можете ли вы помочь мне с Wget? или есть лучшая альтернатива для достижения этой цели? Я не хочу ...
6
голосов
3ответа
9k показов
Как загрузить эту веб-страницу с помощью Wget?
Я хочу загрузить веб-страницу http://forum.ubuntu-it.org/, но для этого требуются имя пользователя и пароль. Итак, я использовал это: wget --save-cookies cookies.txt --post-data ...
6
голосов
3ответа
6k показов
wget - я не могу скачать файлы с "?"
Я хотел загрузить некоторые статьи о aircrack с помощью wget, и у меня не получилось: wget -r 2 http://www.aircrack-ng.org/doku.php\?id=tutorial\&DokuWiki=78e8249415a9ce232228ed8f9f02b9dd ...
6
голосов
5ответов
16k показов
Как я могу скачать весь (активный) форум phpbb?
На одном из форумов, которые я часто посещаю (и добавил много качественного контента), похоже, возникают проблемы с их сервером. Я не уверен в их способности разобраться с проблемами, с которыми они ...
6
голосов
4ответа
4k показов
Wget 1.12 бинарный для Windows, кто-нибудь может его найти?
Я пытался найти двоичный файл Wget v1.12 для Windows, так как он анализирует CSS. Нет успеха Я успешно скомпилировал для OS X, но не могу сделать то же самое для Windows. Кто-нибудь еще может найти ...
6
голосов
2ответа
932 показов
Создайте полную локальную копию сайта с помощью Wget
ОК, вот что мне нужно: Я на Mac (Mac OS X 10.6.8) Я хочу полностью отразить сайт на своем жестком диске (это то, что я использую в качестве теста) Я хочу, чтобы все изображения и предпосылки были ...
5
голосов
3ответа
1k показов
Создание нескольких параллельных виджетов и сохранение результатов в массиве bash, который будет довольно распечатан, когда все виджеты выполнены
У меня есть длинный список URL на моем собственном веб-сайте, указанный в отдельном текстовом файле с возвратом каретки. Так, например: Http:/www.mysite.com/url1.html Http:/www.mysite.com/url2.html ...
5
голосов
7ответов
302 показов
Способ начать загрузку удаленно на другой компьютер
Я ищу решение между прокси и wget , поскольку ни один из них не решает полностью проблему, которую пытаюсь решить. Я хочу загружать файлы в определенный каталог на моем домашнем компьютере (сервер ...
5
голосов
2ответа
8k показов
Как настроить wget на тайм-аут после загрузки более фиксированной продолжительности
Я хочу, чтобы wget (попытался) начать загрузку, а затем, если через 10 секунд это не будет сделано, я хочу, чтобы он сдался. wget --timeout 10 http://url Выглядит как разумная попытка, но кажется, ...
5
голосов
2ответа
9k показов
Использование wget для зеркалирования сайта и всего, начиная с первого уровня внешних сайтов
Мне нужно отразить определенный веб-сайт (все страницы в этом домене) любые страницы (но не целые сайты), на которые ссылается веб-сайт. Я запутался в том, как это сделать wget -r --level=inf (или ...
5
голосов
1ответ
19k показов
WGET командная строка для скачивания видео
Я пытаюсь выяснить, WGET для загрузки некоторых видео на http://windowsclient.net/learn/videos_wpf.aspx. Эта страница является индексной страницей и содержит ссылки на страницу для каждого видео; ...
5
голосов
0ответов
2k показов
Скачать сайт с JS ссылками
Я пытаюсь скачать весь сайт: http://givatram.org/bank/hug.php?hug=0 К сожалению, вместо стандартного тега href , страница использует функции javascript для генерации ссылок: 69821 1 Я пробовал wget и ...
5
голосов
1ответ
11k показов
Почему `wget` скачивает index.html вместо прямого файла?
Я просто пытаюсь скачать это, но он всегда перенаправляет на главную страницу и в конце просто скачивает файл index.html, а не файл, который я пытаюсь скачать: ...
5
голосов
4ответа
16k показов
wget - скачать все файлы, но не предыдущие папки
Я использую wget для загрузки всех файлов из папки, используя опции -r и -np. Однако это также загружает предыдущие папки, которые я не хочу. Например: wget -r -np ...
5
голосов
1ответ
4k показов
Может ли wget конвертировать ссылки в локальном HTML-документе?
Я знаю, что wget может извлечь удаленную страницу и ее зависимости и переписать html, чтобы атрибуты src изображения ссылались на недавно загруженные изображения. Я пытаюсь конвертировать локальные ...
5
голосов
6ответов
5k показов
Почему wget'ing изображение дает мне файл, а не изображение?
я делаю wget http://services.runescape.com/m=itemdb_rs/3809_obj_sprite.gif?id=2 и он загружает следующий файл: 3809_obj_sprite.gif?id=2 Как я могу сохранить это как следующее? 2.png
5
голосов
1ответ
2k показов
Как я могу позволить wget показывать прогресс загрузки файла?
Я использую wget для загрузки файлов методом POST. Иногда файл довольно большой. Есть ли способ показать прогресс, как это происходит с загрузкой?
5
голосов
1ответ
12k показов
Может пинговать, но не может подключиться (curl, wget, apt-get и т. Д.) (Сервер rasberry pi)
Справочная информация: я пытаюсь настроить сервер Rasberry Pi. Все шло хорошо, и мой pi мог получать apt-get update и т.д., Пока я не получил переадресацию портов для работы и ssh для работы вне ...
5
голосов
5ответов
16k показов
Загрузка файла RAR из Mediafire с использованием WGET
Пример: http://www.mediafire.com/?tjmjrmtuyco Это было то, что я пытался ... wget -A rar [-r [-l 1]] То есть я пробовал с рекурсивной опцией и без нее. В итоге скачивается HTML-страница размером в ...
4
голоса
1ответ
346 показов
Wget - сохранение файла в локальный каталог с именем по ссылке
Я новичок в использовании wget, поэтому я надеюсь, что это не глупый вопрос: Как я могу сохранить файл в локальном каталоге, который был назван в честь ссылки на файл? Кажется, это не работает, если ...
4
голоса
3ответа
12k показов
Как вызвать повторную загрузку с помощью wget?
У меня было неприятное удивление, что wget не перезагружается, когда файл с таким именем уже существует. Есть ли возможность принудительно загрузить его, не удаляя файл сначала в Linux?
4
голоса
1ответ
491 показов
Wget вернул веб-страницу вместо файла?
Я хочу загрузить исполняемый файл из LunarG с помощью команды 'wget'. Я попробовал следующее, и результат показан: $ wget ...
4
голоса
1ответ
1k показов
Использование wget для копирования сайта с правильным макетом для просмотра в автономном режиме
Это правильный способ загрузить веб-сайт со всеми изображениями и CSS-файлами, чтобы он имел тот же макет, что и оригинал, но я не знаю, почему параметры -K --backup-converted и -E --adjust-extension ...
4
голоса
1ответ
8k показов
wget выдает «отсутствующий URL» при попытке установить ключ подписи репозитория
Я устанавливаю INetSim в Ubuntu и при запуске этой команды устанавливаю ключ подписи для программы: sudo wget -O - http://www.inetsim.org/inetsim.org-archive-signing-key.asc | apt-key add - Я получаю ...
4
голоса
1ответ
16k показов
Загрузите файл из последней стабильной сборки Jenkins
Используя пакетный файл и wget/curl, как я могу скачать Multiverse-Core-.jar отсюда? http://ci.onarandombox.com/job/Multiverse-Core/lastStableBuild/artifact/target/ Я хочу использовать опцию отметки ...