Вопросы с меткой [wget]
GNU Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его легко вызывать из сценариев, заданий Cron, терминалов без поддержки X Window System (X11) и т.д.
735 вопросов
2
голоса
1ответ
2k показов
Как просто получить список всех ссылок с помощью рекурсивного wget?
Я хотел бы получить список всех ссылок на данную веб-страницу (рекурсивно). Кажется, я не могу понять, как это сделать, просто не указав wr -r. Я не хочу спасать весь мусор, только ссылки. Есть идеи?
2
голоса
1ответ
33 показов
Точность на wget -r
Эта команда работала как ожидалось (см. Верхнюю папку на изображении): wget -P ~/Downloads -r -A pdf http://www.college-de-france.fr/site/antoine-compagnon/ за исключением того, что он начал получать ...
2
голоса
1ответ
9k показов
Загрузка только изображений с помощью curl или wget?
ОБНОВЛЕНО: Я обнаружил, что использование этого скрипта Bash решает проблему наличия файлов GIF с расширением .jpg. Я пытаюсь загрузить изображения с форума, URL которого использует следующий формат: ...
2
голоса
1ответ
251 показов
openssl s_client возвращает ошибку DNS
При попытке подключиться к сайту с помощью openssl, я получаю следующую ошибку. $> openssl s_client -connect www.citibank.com:443 getaddrinfo: No address associated with hostname connect:errno=2 Но ...
2
голоса
2ответа
1k показов
Почему curl и wget занимают так много времени для разрешения локально сопоставленного DNS на OSX?
Я работаю с командой над разработкой веб-сервиса и клиента, каждый из нас, конечно, работает на наших собственных машинах. Для простоты и согласованности мы используем похожие домены в коде и ...
1
голос
1ответ
244 показов
Как сделать так, чтобы wget соответствовал точным доменным именам?
Я использую следующую команду для зеркалирования сайта: wget -r -p -E -N -l 10 -k -nH -H -Dfoo.com,www.foo.com foo.com У меня проблема в том, что где-то на foo.com есть ссылки на домены, ...
1
голос
1ответ
76 показов
Амазонка ec2 intance rhel7 ftp не загружается
это сводит меня с ума. Я пытаюсь загрузить файлы с использованием FTP. Я пытался с PHP FTP, двоичный файл FTP, WGET, ни один из них не работает. У них у всех одна и та же проблема. Когда инициируется ...
1
голос
0ответов
147 показов
MacOS Mavericks: wget зависает с локальным ip, но не с localhost
Я столкнулся со странной проблемой на моем Macbook (Mavericks). Я обслуживаю некоторые файлы по http. Когда я пытаюсь получить файлы с помощью wget: он отлично работает с использованием localhost или ...
1
голос
0ответов
245 показов
Загрузка файлов с помощью wget через torsocks приводит к ошибке 403
При загрузке файлов с помощью wget через торсы я получаю сообщение об ошибке 403, почему это происходит? Настройка пользовательского агента делает, и веб-сайт в порядке, когда я получаю доступ к URL ...
1
голос
2ответа
130 показов
Как удалить файл из URL, не загружая весь файл?
У меня есть система, которая должна получать последние 200 строк из очень большого публичного файла каждый день. Файл выставлен над URL. В настоящее время я запускаю простой скрипт, который выполняет ...
1
голос
0ответов
408 показов
Загрузка старой версии файла
Я пытаюсь создать скрипт автообновления. У меня есть скрипт, который будет постоянно загружать файлы из хранилища Nexus. Если файл в хранилище обновлен, скрипт продолжит загрузку старой версии файла, ...
1
голос
3ответа
1k показов
карта wget, так что --no-check-Certificate автоматически используется
Я хочу сопоставить wget, чтобы --no-check-certificate использовался автоматически. Вот моя лучшая попытка: function wget() { wget @1 --no-check-certificate } Это не работает отлично. Для начала мне ...
1
голос
1ответ
1k показов
Как я могу сделать аутентификацию ldap с помощью wget?
Я пытаюсь сканировать старый сервер Reviewboard, которым я владею, чтобы я мог создать статическую копию и заархивировать ее, и я делаю это, используя wget в соответствии с рекомендациями нескольких ...
1
голос
1ответ
1k показов
wget и cookies.txt - domain.tld против .domain.tld
Я запекаю файл cookies.txt для использования с некоторыми сценариями wget и не могу найти много подробной информации. В настоящее время я пытаюсь определить разницу между domain.tld печеньем ...
1
голос
1ответ
679 показов
Есть ли альтернатива httpfs2 для монтирования веб-ссылок в Linux?
В настоящее время я использую httpfs2 для монтирования прямых веб-ссылок в файловой системе. Например, архив rar, который необходимо распаковать, но у меня недостаточно места на моем VPS, чтобы ...
1
голос
1ответ
301 показов
Wget скачал больше данных, чем фактический файл
Я загрузил образ lubuntu с помощью wget с указанным размером файла 694 МБ, но загруженный файл имеет размер 789 МБ. когда я делаю wget -c, это дает, что файл уже загружен. Но размер файла на 100 МБ ...
1
голос
1ответ
815 показов
Wget - Проблемы рекурсивной загрузки с аутентификацией
Поэтому я пытаюсь загрузить весь домен частной вики-страницы. Я сохранил куки в файле cookies.txt и использую их с wget для аутентификации следующим образом: wget --load-cookies=cookies.txt ...
1
голос
0ответов
70 показов
wget для accuweather.com не работает со вчерашнего дня
Раньше я автоматически собирал данные с accuweather.com для личного использования с wget. Со вчерашнего дня они сменили сайт и открыли всплывающее окно с просьбой дать согласие на добавление или, в ...
1
голос
2ответа
2k показов
Как перезапустить маршрутизатор с помощью curl или wget для передачи URL, а также параметров POST?
У меня есть маршрутизатор Edimax, и из wireshark я вижу, что маршрутизатор перезагружается с POST http://192.168.2.1/goform/formReboot и элементами формы reset_flag=0&submit-url=%2Fadmin_restart.asp ...
1
голос
1ответ
582 показов
Как я могу управлять сеансом tmux, используя supervisord?
Я хочу сделать зеркалирование данных примерно 15 различных серверов, которые периодически, но постоянно предоставляют файлы, которые мне нужны. Для этого я создал conf tmux, который открывает 15 окон ...
1
голос
1ответ
108 показов
Задний план запускает инструмент загрузки, такой как wget, только после авторизации
Хитрый - если вы используете wget с auth, он работает так: вы запускаете wget на переднем плане Никакой другой процесс не может начаться, пока вы не введете пароль Wget запрашивает пароль вы вводите ...
1
голос
1ответ
55 показов
Вызов wget из java (runtime.exec) зависает и ограничивает загрузку определенным размером файла (в то время как с curl - нет)
Детали вопроса Я пытаюсь вызвать wget из java для загрузки файла, но продолжаю сталкиваться со странной проблемой, когда размер файла будет ограничен. Например, при выдаче «wget ...
1
голос
2ответа
24 показов
Загрузка файлов GitHub Archive с использованием wget: has {} для итерации
Если я скопирую / вставлю это в командной строке, я могу загрузить ВСЕ архивные файлы GitHub в течение 24 часов 1 января 2015 года: wget http://data.gharchive.org/2015-01-01-{0..23}.json.gz Я хочу ...
1
голос
1ответ
122 показов
Простой способ выкинуть весь сайт за логином?
С wget --recursive --no-clobber --page-requisites --html-extension \ --convert-links --restrict-file-names=windows \ --domains example.com --no-parent example.com Могу ли я сбросить весь сайт для ...
1
голос
2ответа
185 показов
Изменение имен файлов ДО того, как wget загрузит их (не переименовывая локальные версии)
У меня есть файловая система веб-сайта, где каждый файл имеет две копии, краткую копию и большую копию с разными именами. Например, файл большой копии может быть pages/info/GK2grkG23r_lg.html, в то ...
1
голос
1ответ
3k показов
Почему я не могу использовать команду wget в оболочке SSH?
У меня следующая проблема. Я использую мой RaspBerry (с установленным RaspBian) по SSH. Моя проблема в том, что я не могу использовать команду wget, потому что она не работает. Например, если я ...
1
голос
0ответов
52 показов
Wget Укажите подкаталоги для загрузки (-I)
Я только начал использовать wget и могу загрузить и указать местоположение для сохранения файлов, но у меня возникают проблемы, когда я пытаюсь ограничить свою загрузку частями основного каталога. ...
1
голос
1ответ
9k показов
Сбой зеркалирования на сайте - 403 Запрещено, даже при использовании user-agent
Мне нужно скачать последние правила Suricata из этого URL: http://rules.emergingthreats.net/blockrules/ Я пытаюсь составить свои собственные правила, основанные на различных появляющихся правилах и ...
1
голос
1ответ
959 показов
Зеркальное отображение веб-сайта, имеющего страницы, использующие простой JavaScript
Существуют простые и удобные инструменты для загрузки веб-сайтов, которые позволяют создавать локальные зеркала простых сайтов, не имеющих JavaScript-инфраструктуры. Тем не менее, иногда бывают ...
1
голос
2ответа
4k показов
Проблемы с загрузкой файлов с помощью WGET
Я пытаюсь использовать WGET для загрузки файлов с сервера. Я использую командный файл со следующей строкой: wget -q http://subs.ro/get/22463 Файл загружается, но имя неверно и расширение файла ...
1
голос
1ответ
194 показов
curl / wget добавляет дополнительный ^ M, когда я добавляю данные в файл
Что-то жужжит мне об этом. Я пытаюсь загрузить два разных файла хоста в один, если я делаю это серьезно, тогда все в порядке, но когда я добавляю первый ко второму, в каждой строке файла хоста ...
1
голос
1ответ
41 показов
Получить скорость соединения программы с помощью netstat
Я использую netstat -natpe для просмотра соединений и имен программ. Пока wget выбирает данные, столбец RX равен нулю naderan@student-virtual-machine:~$ netstat -natpe (Not all processes could be ...
1
голос
2ответа
4k показов
Использование wget для передачи файлов с локального на сервер на удаленный сервер
У нас есть локальный сервер, на котором мы выполняем большую часть нашей веб-разработки, а затем мы продвигаем это в живую среду, чтобы клиенты могли получить к ней доступ. Мы часто получаем огромные ...
1
голос
1ответ
60 показов
Проблемы при разборе файла журнала в конвейере PowerShell
(new-object System.Net.WebClient).DownloadFile('http://192.168.100.1/cgi-bin/status_cgi','C:\file.txt') получает страницу состояния с модема Arris. select-string -Path "C:\file.txt" -pattern "Uptime" ...
1
голос
1ответ
113 показов
Wget не работает, как ожидалось
wget -nd -a pdf -o drgnchain.pdf https://dragonchain.com/assets/Dragonchain_Business_Summary.pdf Я ожидаю, что загруженный PDF будет иметь имя drgnchain.pdf и будет единственным файлом после ...
1
голос
1ответ
44 показов
Как мне не скачивать определенные сайты с помощью wget?
То, что я сейчас делаю, это wget www.example.com -m --warc-file="example.com" который отлично работает для большинства сайтов, но для этого конкретного сайта, который я сохраняю, существует более ...
1
голос
2ответа
413 показов
WGET: можно ли автоматически возобновить загрузку HTTP-URL?
Я использую задания cron для выполнения сценариев оболочки, которые являются очень простыми вызовами wget. Вот один из таких примеров: #!/bin/sh fileName="WRTI-"$(date +"%m-%d-%Y-%H%M") ...
1
голос
1ответ
102 показов
wget решает не загружаться из-за черного списка
Я пытаюсь сделать полную копию веб-сайта; например, http://vfilesarchive.bgmod.com/files/ я бегу wget -r -level=inf -R "index.html*" --debug http://vfilesarchive.bgmod.com/files/ и получать, например ...
1
голос
1ответ
430 показов
Firefox - загрузка файлов с использованием внешнего скрипта bash
Можно ли использовать внешний скрипт bash при загрузке файлов в Firefox? Моя цель - высокая настройка. Например, создание сценариев, которые сохранят файлы в указанной папке на основе расширения, ...
1
голос
2ответа
400 показов
Wget не создает индексный файл каталога
Я пытаюсь скачать сайт с помощью команды: wget -r -l 0 -p -k -m -e robots=off --restrict-file-names=nocontrol,unix http://example.com Когда он находит ссылку, например, http://example.com/direction , ...
1
голос
1ответ
745 показов
Как я могу скачать большой файл Google Takeout по частям в Windows 10?
Я запросил выгрузку данных в Google по 2 ГБ. Однако, хотя большинство файлов (22/23) имеют размер
1
голос
1ответ
36 показов
Как я могу загрузить файл из Wine CMD на Fedora?
Примечание: это аналогично вопросу здесь: Wine: Как загрузить файл из CMD? однако я не смог использовать или понять предоставленный ответ. Мне нужно иметь возможность загрузить файл из пакетного кода ...
1
голос
1ответ
578 показов
Рекурсивно загружать файлы с веб-сайта с помощью wget
Я хочу скачать набор файлов с веб-сайта. HTML-документы связаны с bla после загрузки первичного файла путь к папке / удаляется, как и ожидалось. Оставшаяся строка: bla Но wget не загружает указанные ...
1
голос
2ответа
99 показов
Как заставить работать функции / псевдонимы, определенные в скрипте bash, который загружен с сервера (и выполнен)?
У меня был .bashrc который я переместил на сервер, чтобы я мог скачать и выполнить его через wget: wget -O - http://xxx.github.io/dotfiles/bashrc | bash Он выполняется, но все функции и псевдонимы, ...
1
голос
1ответ
207 показов
Загрузка аутентифицированного большого файла с помощью инструментов командной строки
Мне нужно скачать файл размером около 1,6 ГБ. Я хотел бы получить его скачать с помощью инструмента командной строки, как axel , wget или curl Тем не менее, как я могу скачать файл, который ...
1
голос
1ответ
312 показов
Что такое curl эквивалентно wget -x?
Я хочу использовать curl для сохранения нескольких файлов с одинаковыми локальными путями, которые будут созданы с помощью wget -x (т.е. очищенные версии полных URL-адресов). Но я не могу найти ...
1
голос
1ответ
311 показов
Пинг работает, другие команды не работают
Я за прокси на работе. Когда я пытаюсь пинговать Google, это работает. Когда я пытаюсь сделать wget, я застрял на «Соединении с [имя прокси]». Я пробовал как через адрес "google.com", так и через ...
1
голос
1ответ
327 показов
Ошибка gnutls_handshake(): ошибка в функции извлечения
У меня проблема с моим сервером Ubuntu (Ubuntu 16.04.5 LTS). Это очень странно. Когда я пытаюсь использовать какой-либо инструмент для извлечения определенного URL через ssl, он терпит неудачу. ...
1
голос
1ответ
552 показов
Как скачать потоковые файлы с помощью wget?
Иногда я спотыкаюсь в файлах, которые не могу скачать с помощью wget . Так может у кого-то есть подсказка для меня? Например, я хочу скачать по следующей ...
1
голос
1ответ
1k показов
Скачать все файлы с некоторыми строками в их именах
На http://www.inf.usi.ch/carzaniga/edu/algo08f/schedule.html я хотел бы загрузить все PDF-файлы с именем *-2up.pdf , например, http://www.inf. .usi.ch/carzaniga/ Edu / algo08f / интро-2up.pdf Можно ...