Вопросы с меткой [wget]
GNU Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его легко вызывать из сценариев, заданий Cron, терминалов без поддержки X Window System (X11) и т.д.
735 вопросов
1
голос
0ответов
394 показов
Опция wget -nd (--no-directoryies) не работает должным образом
Я использую wget 1.12 (в msys, если это имеет значение) и пытаюсь отразить сайт с параметром -nd , так как имена файлов и папок на этом сайте очень длинные. Документы утверждают, что ‘-nd’ ...
1
голос
3ответа
839 показов
Как получить все * .html файлы с веб-сайта, используя инструменты командной строки Unix и регулярные выражения
Я хотел бы получить все файлы .html с веб-сайта, на котором есть определенный текст: например. this_is_good_site.html Итак, я хотел бы скачать файлы .html со словом "хорошо" в названии. Я попробовал ...
1
голос
1ответ
124 показов
Продолжить загрузку файлов, начиная с URL, где он останавливается: WGET
Я хочу скачать файлы с помощью wget. Максимальная глубина до 3. Теперь я знаю, что существует большая вероятность того, что файлы в URL будут обновлены. Есть ли способ, что эти обновленные / ...
1
голос
3ответа
6k показов
Как использовать wget с входным файлом и именами файлов
У меня есть текстовый файл, который содержит 10000 URL-адресов с уникальным номером, я хочу сохранить файл как. Каждая строка имеет 10-значный код, а затем URL-адрес изображения для извлечения. Как ...
1
голос
1ответ
1k показов
Как проверить значение после curl или wget?
Мне нужно свернуть /wget страницу и убедиться, что она вернула определенное значение (иначе возвращает 1), что-то вроде этого: curl http://example.com/something/run | grep -e '^success!$' || return 1 ...
1
голос
0ответов
72 показов
Синхронизация офлайн материалов с сайтом с помощью wget
Я использую wget на Mac OS для загрузки сайта. Этот веб-сайт обновляется один раз, и я не хочу загружать весь веб-сайт каждый раз, когда он обновляется. могу ли я как-то синхронизировать мои ...
1
голос
2ответа
858 показов
Очистить грязный wget скачать имена файлов
Иногда wget выбирает дополнительные параметры при загрузке файла, например Aev264-yale_econ2521120.m4v?bri=40.1&brs=689 . Очевидно, что все, что я хочу, это Aev264-yale_econ2521120.m4v . Я пролистал ...
1
голос
1ответ
4k показов
Wget записать журнал в файл и подробно
Я пишу сценарий, который будет загружать дампы Википедии. Я хочу, чтобы wget записывал все сообщения в файл журнала, но я также хочу, чтобы он записывал все сообщения на экран. Любой ответ? Я ...
1
голос
2ответа
8k показов
Как сделать команду wget для чтения http ссылки с пробелами из файла?
Следующее изображение ссылки имеет пробел: http://descripciones.intcomex.cl/userfiles/image/210-1140LA XA509LA_190x170.jpg Я могу получить изображение с помощью: wget ...
1
голос
1ответ
618 показов
Что не так в скрипте Bash насчет параметров и Wget?
Выполнение команды дает wget_exam -h Usage: wget_exam2 exit // then immediately Terminal shut dows Код # example wget_exam2 java http://www.example.com/ex_1 function wget_exam2 { while [[ $1 == -* ...
1
голос
3ответа
515 показов
Перенос огромных файлов с одного сервера на другой через SSH
Я пытался переместить огромные файлы с одного сервера на другой через ssh с помощью команд wget и scp, но файл tar.gz был поврежден и не извлекался. Файлы более 30-50 ГБ. Есть ли другой лучший способ ...
1
голос
1ответ
727 показов
Как скачать видео с YouTube через HTTPS
Я не могу зайти на YouTube по http. Но я могу получить доступ к тому же на https. Когда я выполнил команду wget https://www.youtube.com/watch?v=StJLvbPIvTw она вернула следующий ответ: --2013-03-04 ...
1
голос
1ответ
1k показов
Загружайте несколько файлов одновременно с помощью cURL
Я ищу, чтобы загрузить несколько файлов с сервера, используя cURL из терминала на Mac. Я знаю, что с помощью оператора {} я могу загружать один файл за другим, но я хочу загрузить все (10) из них, ...
1
голос
2ответа
2k показов
Может ли хранение 300 тыс. Файлов в одной папке вызвать проблемы?
Я сканирую большой веб-сайт (более 200 тыс. Страниц) с помощью wget (есть ли лучший инструмент, кстати?). Wget сохраняет все файлы в один каталог. Раздел HFS (я думаю), это вызовет проблемы, если у ...
1
голос
1ответ
708 показов
Скачивание большого сайта с помощью wget
Я пытаюсь отразить очень большой сайт, но кажется, что wget никогда не заканчивается должным образом. Я использую команду: wget -r -l inf -nc -w 0.5 {the-site} Я скачал хорошую часть сайта, но не ...
1
голос
0ответов
488 показов
Debian на Dockstar: запрос страницы администратора ADSL модема с помощью wget
Новичок в Linux, я пытаюсь запросить страницу состояния моего модема DG834G с помощью wget из моего запущенного Debian Dockstar. Не уверен, что это имеет какое-то значение, но я подключен к Dockstar ...
1
голос
1ответ
3k показов
wget Скачать веб-страницу полностью в один файл и папку ресурсов
Я пытаюсь эмулировать щелчок правой кнопкой мыши и "Сохранить как, завершить" в Chrome или Firefox. Я попробовал это: wget -E -H -k -K -p http://gizmodo.com Но это создало несколько папок, по одной ...
1
голос
0ответов
195 показов
Ncat выдает ошибки при запуске из crontab
У меня есть простой сценарий, настроенный на моем окне OpenWrt, чтобы проверить, потоковый ли один из компьютеров в локальной сети, и если он делает, сценарий запускает wget | Madplay, чтобы играть в ...
1
голос
1ответ
2k показов
wget выполнить скрипт после загрузки
Мне нужно каждый раз, когда вы завершаете передачу программы wget, это запускает скрипт. это моя полная командная строка: wget -i urls-to-downloads.txt Моя проблема в том, что я хочу вычитать из него ...
1
голос
2ответа
675 показов
Прямое местоположение загрузки для MySQL Workbench?
Я работаю над сценарием bash, который устанавливает различные приложения, и одним из них является последняя версия MySQL Workbench. Поскольку присутствие Workbench (и его версия) в репозиториях Linux ...
1
голос
1ответ
205 показов
Почему twitter.com не загружается в мою домашнюю сеть?
Я пытаюсь выяснить, почему мои клиенты в Твиттере перестали работать. Я не могу загрузить твиттер через твиттер-клиенты или http://twitter.com/ на все машины, подключенные к моей домашней сети. Время ...
1
голос
1ответ
2k показов
Отправка формы с помощью curl
Прости меня за простой вопрос ... Я не использовал curl раньше. Я пытаюсь автоматически загрузить некоторые данные из этой формы: http://ida.water.usgs.gov/ida/available_records.cfm?sn=12040500 какие ...
1
голос
3ответа
1k показов
Многопоточный / многопроцессный клиент командной строки ftp для Windows
Я ищу ftp клиент командной строки для Windows, способный ускорить загрузку, используя несколько процессов / потоков. (Filezilla делает это AFAIK, но это не работает из командной строки). Или, может ...
1
голос
1ответ
649 показов
Очистите сайт с помощью curl/wget, добавив параметр к каждому сайту
Мне нужно очистить веб-сайт для всех сайтов и добавить параметр, например www.theSite.com/allpages?myPara=us Теперь я получил wget --recursive для получения всех сайтов, но он не добавляет параметр, ...
1
голос
2ответа
3k показов
Wget - Скачать все изображения с веб-сервера
Поэтому я хочу скачать все изображения с веб-сервера, в частности, JPEG. Команда, которую я запускаю, выглядит законной, и я знаю, что на сайте есть jpegs. Так например wget -r -PC:/ -A.jpg ...
1
голос
1ответ
2k показов
-bash: pear: команда не найдена
При попытке установить phpDoc через Терминал я получаю следующую ошибку: -bash: pear: command not found Хотя я только что установил грушу. Перед попыткой установить phpDoc я установил Pear и получил ...
1
голос
1ответ
1k показов
Получить исходный код из Google Code, используя wget или curl?
Можно ли получить исходный код из репозитория Google Code (hg) с помощью wget или curl? Еще с использованием Python? Спасибо за все предложения К вашему сведению: я на общем хосте WebFaction, поэтому ...
1
голос
1ответ
6k показов
Установите Java на Linux через оболочку без apt-get
Я хотел бы запустить мультикарт на одном из моих серверов. После некоторой интенсивной отладки / установки я понял, что на сервере еще не было среды выполнения Java. Я подумал, что это будет легко ...
1
голос
2ответа
4k показов
wget рекурсивно скачивает со страниц с множеством ссылок
При использовании wget с включенной рекурсивной опцией я получаю сообщение об ошибке при попытке загрузить файл. Он считает, что ссылка является загружаемым файлом, когда на самом деле он должен ...
1
голос
2ответа
987 показов
Как скачать все проблемы проекта Эйлера с помощью wget
Я пытаюсь загрузить все проблемы Project Euler с помощью команды wget -m http://www.projecteuler.net/ но все, что он загружает, это первая страница, т.е. index.html и останавливается. Я попытался с ...
1
голос
1ответ
949 показов
Wget каталог с точными именами файлов?
Следующее работает, потому что я вставил точное имя файла: wget --referer=http://www.*****.com --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=cookie.txt ...
1
голос
1ответ
961 показов
wget сканирует результаты поиска на сайте новостей
Я пытаюсь сканировать результаты поиска на новостном веб-сайте с помощью wget. Название сайта www.voanews.com. После ввода в моем поисковом слове и щелчка поиска, поиск переходит к результатам. Затем ...
1
голос
0ответов
251 показов
Два файла с одинаковым путем и именем - повреждена файловая система?
Мой компьютер работает под управлением Windows XP 32 бит. Я использую следующий скрипт для загрузки содержимого веб-сайта на мой жесткий диск, который отформатирован как NTFS. wget-1.10.2.exe -r -x ...
1
голос
1ответ
2k показов
wget: только скачать файл .listing
когда загрузка с помощью wget и user аргумент wget url --no-remove-listing Я могу сохранить файл .listing . но, как я могу скачать только файл .listing ?
1
голос
1ответ
3k показов
скрипт загрузчика rss
У меня дома есть Synology NAS, работающий на Linux. Я хочу настроить скрипт cron для проверки группы RSS-каналов и автоматической загрузки новых видеоподкастов в общую папку. Я могу выполнять большую ...
1
голос
1ответ
256 показов
Wget клон не точно
Я пытаюсь получить точную копию одной страницы. Я использую: wget -E -H -k -K -p http://example.com Все работает хорошо, кроме: Если в моем стиле есть импорт другого файла CSS, он не загружается. ...
1
голос
1ответ
227 показов
Не удалось продолжить загрузку 6,4 ГБ после загрузки 4,2 ГБ
Я пытался загрузить большой ISO (6,822,254,592 байт). После 4 423 760 272 байт (что превышает 4 ГБ, так что это не простая проблема с ограничением в 4 ГБ), мое сетевое соединение было прервано на ...
1
голос
0ответов
191 показов
Использование Wget для сохранения страниц, требующих входа в систему?
Я пытался заархивировать личные сообщения моего форума с помощью Wget (это собственный сервер форума, поэтому я не могу просто нажать "экспортировать все сообщения", как вы можете в phpbb). В ...
1
голос
0ответов
71 показов
Загрузите страницы, на которые я должен зайти, чтобы получить доступ через wget
Есть веб-сайт, на котором я должен войти, прежде чем я смогу просматривать контент, и этот контент был бы очень полезен для моей работы, если бы я мог просматривать его в автономном режиме. Это ...
1
голос
1ответ
500 показов
Отправить HTTP-запрос на сайт с паролем и именем пользователя, затем записать результаты
Мне нужно записать определенные цифры (температура и другие) из веб-службы мониторинга (LaCrosse Alerts). Тем не менее, вы должны войти в систему, чтобы использовать эту услугу. У меня есть аккаунт, ...
1
голос
2ответа
957 показов
В сценарии cgi отказано в разрешении curl (7)
Не могу понять, в каких разрешениях может быть отказано. Запуск сценария cgi из командной строки работает нормально. http_proxy="" curl http://url/ -o file Производит curl(7): permission denied (те ...
1
голос
1ответ
1k показов
Как получить cookie-файл веб-сайта после аутентификации HTTPS NTLM?
Я пытаюсь сохранить файл cookie (который поможет мне аутентифицировать себя в другом месте), предоставленный веб-сайтом после аутентификации. Дело в следующем: Перейти на страницу HTTPS Переадресация ...
1
голос
2ответа
23k показов
Диагностика проблем с интернет-соединением с помощью командной строки
У меня несколько проблем, когда я пытаюсь заставить CentOS загрузить что-нибудь. Я не могу заставить работать yum, потому что время доступа к файлу истекло. В любом случае, есть ли способ отследить, ...
1
голос
2ответа
4k показов
Загрузите весь сайт для автономного использования с помощью wget (включая внешние серверы изображений)
Итак, у меня есть wget 1.12 на Windows 7, и я могу сделать его базовую загрузку. Сайт, который я пытаюсь скачать: http://www.minsterfm.co.uk и все изображения на нем хранятся снаружи по адресу ...
1
голос
1ответ
861 показов
wget ftp с учетными данными для списка файлов
Этот вопрос SuperUser не совсем то, что мне нужно. Есть ли способ сделать что-то подобное wget ftp://myname:longpassword@someipddress/images/ -i file_list.txt Я хочу использовать одни и те же учетные ...
1
голос
1ответ
1k показов
Как скачать изображения с помощью wget
Я делаю этот скрипт wget под названием wget-images, который должен загружать изображения с веб-сайта. Теперь это выглядит так: wget -e robots=off -r -l1 --no-parent -A.jpg Дело в том, что в ...
1
голос
1ответ
5k показов
Wget: ждать после таймаута?
Я вижу эту опцию: --waitretry=seconds Если вы не хотите, чтобы Wget ожидал между каждым поиском, а только между повторными попытками неудачных загрузок, вы можете использовать эту опцию. Wget будет ...
1
голос
2ответа
351 показов
Загрузка с помощью wget, не зная конечного индекса
Я загружаю некоторые измерения с помощью Wget, которые находятся в виде http://www.somewhere.com/sub-somewhere052/image0001.jpg http://www.somewhere.com/sub-somewhere052/file0001.txt вплоть до ...
1
голос
2ответа
2k показов
Защищенный контент с экспортированными куки
Я экспортировал пару файлов cookie из Firefox, которые действительны для рассматриваемого URL, и попытался получить доступ / загрузить защищенный контент с этого адреса, но в результате мы ...
1
голос
1ответ
7k показов
`нет такого файла или каталога` при зеркалировании с помощью wget
Я пытаюсь сохранить локальную версию документации clojure с помощью команды wget : wget --user-agent=firefox --ignore-length -c -km "http://clojuredocs.org/quickref/Clojure Core"` но продолжайте ...