Вопросы с меткой [wget]

GNU Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его легко вызывать из сценариев, заданий Cron, терминалов без поддержки X Window System (X11) и т.д.

0
голосов
1ответ
124 показов

Как я могу wget, если файл изменился?

У меня есть cronjob, который загружает файл PDF с удаленного сервера. Имя файла всегда статично, но я сохраняю его в каталоге с датой. Файл сохраняется как исходное время сохранения с сервера, однако ...
0
голосов
0ответов
949 показов

Сделать результаты разрешения DNS кэша wget

Я использую wget в скрипте для загрузки изменяющегося файла из Dropbox: wget -4 -O filename.ext "https://www.dropbox.com/s//filename.ext?dl=1" Я заметил, что wget разрешает IP-адрес www.dropbox.com , ...
0
голосов
1ответ
397 показов

почасовая загрузка с помощью wget

Я хотел бы загружать файл из Dropbox каждый час и регистрировать его для тестирования. Какой лучший способ для этого? Я новичок в wget и пока что мне удается скачать файл. вот что у меня так далеко: ...
0
голосов
0ответов
269 показов

Перечисление файлов в каталоге веб-страниц через Wget

Что я должен написать в командной строке, чтобы перечислить файлы на этой веб-странице: « http://download.xbox.com/content/5454085c/ »? Файлы должны быть в формате ".cab".
0
голосов
1ответ
240 показов

Невозможно записать в «HAIB_T47D_FoxA1.tar.gz» (ошибка ввода / вывода)

Я пытаюсь загрузить набор данных (более 1 ГБ) с помощью wget: wget http://cistrome.dfci.harvard.edu/MACSNatureProtocol/HAIB_T47D_FoxA1.tar.gz Тем не менее, я всегда получаю следующее сообщение об ...
0
голосов
0ответов
386 показов

Wget работает на Linux, но не на Mac OS

Я пытаюсь загрузить этот файл: http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip используя wget, например: wget http://www1.caixa.gov.br/loterias/_arquivos/loterias/D_megase.zip ...
0
голосов
1ответ
142 показов

При загрузке веб-сайта с помощью wget скорость загрузки важнее?

Я пытаюсь загрузить любимый веб-сайт с большим количеством картинок размером около 10 гигабайт. Я использую sitesucker прямо для загрузки, и я заметил, что, хотя у меня скорость загрузки 10 Мбит / с, ...
0
голосов
1ответ
225 показов

как скачать картинки с помощью wget

Я хотел бы загружать фотографии с http://myhomepage.com/plots/20150111-03/4711/4712.png каждые 3 часа. «20150111-03» является переменным, остальное стабильным. Это означает, что каждые 3 часа ...
0
голосов
1ответ
492 показов

wget скачать URL с фильтром

Я хочу скачать все jpg файлы с URL "www.link.com". Однако ссылки на скачивание jpg начинаются с "dl.link.com". Когда я использую следующий код, он не загружает никаких файлов. Я предполагаю, потому ...
0
голосов
1ответ
1k показов

Использование Wget для загрузки отдельных изображений с веб-сайта с помощью URL-адреса img src, где img class = "decoded"

Я хочу получить отдельные изображения с сайта. На сайте есть фотографии. Нажатие на фотографии приводит к другой странице. Я хочу получить фотографии из тега img src в html. У меня уже есть код Unix ...
0
голосов
1ответ
207 показов

Скачать все изображения на расстоянии 2, используя Mac OS X

Мне нужно скачать все изображения с веб-сайта на моем компьютере. Изображения не перечислены все на одной странице. Вместо этого у меня есть индексная страница , которая связывает множество страниц ...
0
голосов
2ответа
101 показов

wget предотвратить сохранение на диск

Я пытаюсь сканировать Интернет, начиная с определенного веб-сайта, и получить список URL-адресов, которые были посещены. Это то, что я до сих пор: wget --spider -r --no-verbose -o out.txt Проблема в ...
0
голосов
0ответов
457 показов

Использование Wget с JQL Query

Мы пытаемся запустить команду Wget wget -O xyz.xls --user = COldPolar --password = GlacierICe --ignore-length = on " ...
0
голосов
1ответ
103 показов

Как автоматически запустить wget для загрузки файлов при подключении к интернету?

Я использую Windows XP. я создал командный файл, содержащий wget -i links.txt --read-timeout=2 -t 0 -w 0 --waitretry=0 -c --no-check-certificate -b и файл "links.txt" содержит URL-адреса, указывающие ...
0
голосов
1ответ
467 показов

Как получить Wget для получения всего URL, включая условия поиска

Я пытаюсь использовать wget для получения веб-страницы, которая отображает результаты для искомой строки. Однако на найденной странице отображаются только результаты пустой строки. Судя по всему, ...
0
голосов
0ответов
45 показов

Разархивированный файл приходит разархивированным

Недавно я установил систему ArchLinux на работу и добавил репозиторий ArchHaskell. Это далеко не первый раз, когда я делаю это. У меня есть несколько систем, где все работает нормально, но в прошлый ...
0
голосов
3ответа
92 показов

Команда Linux Debian

я попытался установить isp cp omega на мой выделенный сервер Debian OS, я создал новый каталог с именем /panel/ , и я написал команду cd /panel , а затем я запускаю код wget ...
0
голосов
0ответов
2k показов

Wget с входным файлом говорит "Нет такого файла или каталога"

Я хочу использовать Wget для Windows для получения некоторых файлов по URL- адресам , которые я указал в файле с именем WgetInput.txt После прочтения документации я понял, какую команду мне следует ...
0
голосов
2ответа
4k показов

Использование Wget / shell для загрузки файла из-за пределов веб-корня

Я пытаюсь загрузить файл httpd.conf, чтобы я мог отредактировать свою конфигурацию Apache. Я могу получить доступ к каталогу, в котором он находится, через оболочку (у меня есть доступ с правами ...
0
голосов
5ответов
3k показов

Зеркальное отображение сайта WordPress с Wget

Я пытаюсь скачать WordPress веб-сайт, мой блог на самом деле, а также получить php-файлы. Пока я пробовал - wget -rkp -l3 -np -nH --cut-dirs=1 http://www.sharons.org.uk/ wget -r ...
0
голосов
1ответ
215 показов

Wget получает ответ 403

Я использую API, который имеет некоторое количество запросов в час. Но мой скрипт делает все за один раз, поэтому я теряю около 1/3 запросов, потому что получаю 403. Есть ли способ проверить реакцию ...
0
голосов
0ответов
349 показов

Пингует локальную машину с внешним IP

На сервере Gentoo Я пытаюсь wget или свернуть страницу из ее URL: wget http://example.com/test.html (Я могу получить результат для этого URL из моего браузера) Все, что я получаю, является Таймаут С ...
0
голосов
1ответ
495 показов

wget - сложно - Как скачать все ссылки со страницы, включая разные пути?

Чтобы сделать объяснение легким и немного интересным, давайте представим, что я хочу загрузить страницы википедии всех упомянутых здесь людей с помощью одной команды wget, возможно, с разумным ...
0
голосов
1ответ
8k показов

Как полностью отразить сайт с помощью wget

Мне действительно нужна команда, чтобы загрузить все с веб-сайта. Это arnos.gr и содержит много контента, который я хочу просматривать локально без интернета. У меня есть аккаунт для входа
0
голосов
0ответов
25 показов

Можно ли извлечь файл с дефисом с помощью Curl?

Изображения, с которыми я имею дело, имеют имена файлов, такие как part-1.jpg, object-a.jpg, Aspect-0.jpg. Что мне интересно, это то, что я поставил вместо ???: curl -O http://server/[???].jpg
0
голосов
1ответ
68 показов

Использовать tmux для управления несколькими загрузчиками в качестве службы supervisorctl?

У меня есть много серверов данных, с которых мне нужно загружать данные через http, как только они становятся доступны. Для каждого сервера я запускаю bash " while true " -loop и в этом wget ...
0
голосов
2ответа
2k показов

Есть ли у wget история загрузок?

Я использовал wget для загрузки нескольких сжатых пакетов (при неудачной попытке вручную эмулировать apt-get, если это имеет какое-либо значение), и я не помню расположения пакетов. Можно ли ...
0
голосов
1ответ
51 показов

Зеркальный сервер и игнорирование уже обработанных файлов

Прежде чем я начну писать свое собственное приложение для этого, возможно, уже есть лучшее решение проблемы: Мне нужно каждый день проверять HTTP-сервер для загрузки и обработки новых файлов. В ...
0
голосов
1ответ
222 показов

Генерация одного PDF из веб-сайтов HTML-страниц

Вот проблема: есть веб-сайт, который мне часто нужен для справки, и мне нужна автономная версия, которая также работает на мобильных устройствах, на ум приходит PDF. Я могу сделать автономную копию ...
0
голосов
1ответ
54 показов

используйте wget для вывода всего полученного в один текстовый файл

Можно ли сделать что-то подобное? wget --recursive --output-document=theEntirePagestuffedIntoATextfile.txt www.example.com И на словах то, что он должен сделать, это: «скачать весь сайт ...
0
голосов
1ответ
647 показов

скачать файл с URL, который возвращает диалоговое окно сохранения

У меня есть URL-адрес, который при нажатии возвращает диалоговое окно сохранения для PDF-файла. Я хотел бы сохранить этот файл с помощью wget. Есть идеи, как это сделать? По сути, URL-адрес - это не ...
0
голосов
1ответ
196 показов

Как автоматически сохранить список файлов с разными именами?

У меня есть текстовый файл URL-адресов, каждый в виде: http://domain.com/a/b/c/d.jpg Я хочу скачать все это, но сохранить каждый файл под именем: c_d.jpg Другими словами, для каждого файла я хочу ...
0
голосов
2ответа
81 показов

Автоматизация установки OpenOffice

Я пытаюсь написать скрипт оболочки, который будет загружать последнюю версию OpenOffice с помощью wget , а затем использовать командную строку для установки приложения. Я видел, что установка ...
0
голосов
1ответ
134 показов

Загрузка изображений через Wget с прокси

Я написал инструмент ruby для загрузки нескольких изображений. Однако на этот раз мне нужно настроить wget с прокси. Prefix - это указанная директория, в которую я хочу поместить изображения, а ...
0
голосов
0ответов
238 показов

Файлы загружаются не через браузер, а через Wget. Зачем?

Недавно я столкнулся с проблемой на клиентском компьютере, когда машина не смогла загрузить некоторые файлы. Мы пытались загрузить файлы через браузер, но он не дал никакого ответа. Тем не менее, ...
0
голосов
2ответа
1k показов

Скрипт для CRON (FTP получает файлы КАЖДУЮ МИНУТУ)

Я хочу создать скрипт, который должен запускаться с CRON каждую минуту (вопрос: разумно ли запускать CRON FTP/wget каждую минуту?) сравнивает локальный каталог с удаленным каталогом (Q: я использую ...
0
голосов
3ответа
23k показов

Wget Intallation в Cygwin

Я пытался установить wget version-1.14 (пакет tar.xz) на cygwin, но это не удалось. Мои шаги были tar -xf wget-1.14.tar.xz cd wget-1.14 ./configure Через некоторое время вылетает ошибка настройки. ...
0
голосов
2ответа
1k показов

Может ли wget декодировать имена файлов URI при загрузке в пакетном режиме?

Обычно при загрузке файлов с помощью wget имена файлов кодируются. В примере: wget -c --content-disposition "https://class.coursera.org/ml-005/lecture/download.mp4?lecture_id=1" и сохраненное имя ...
0
голосов
1ответ
460 показов

Как осуществлять навигацию на основе PHP с помощью WGET?

Я пытаюсь придумать список возможных имен для нашего следующего мальчика и просматривал сайт IndiaParenting. У каждого имени на сайте есть страница с подробной информацией по URL-адресу, подобному ...
0
голосов
1ответ
492 показов

Wget не соответствует шаблонам с подстановочными знаками

Я пытаюсь загрузить определенные URL, которые я хотел бы сопоставить со следующим шаблоном, используя подстановочные знаки: http://example.org/subtitles?q=NUMBER_en&format=srt где НОМЕР = [0-9] * ...
0
голосов
1ответ
568 показов

Загрузка целых веб-страниц в домене

Мой компьютер в локальной сети. Я подключен к локальному домену в MyDomain. В этом домене существует что-то вроде WIKI для обучения (http://training-wiki/). Я хотел бы загрузить весь WIKI на свой ...
0
голосов
1ответ
4k показов

Как использовать wget для загрузки списка файлов с разных URL-адресов на одном сайте и сохранения файлов в той же структуре папок, что и URL-адрес?

У меня есть список файлов, которые мне нужно загрузить по разным URL на одном сайте. Используя команду: wget --http-user:user@domain.name --http-password:password -i download.txt Файлы загружаются по ...
0
голосов
0ответов
282 показов

Как скачать все изображения из галереи

Я ищу способ загрузить все изображения (не эскизы) этой галереи http://kinki.de/#/?gallery=list&gid=4804 . Как я вижу, все изображения расположены на http://kinki.de/files/galleries/4804/ Я попытался ...
0
голосов
1ответ
130 показов

Отслеживание веб-перенаправления в bash-скрипте

Я хочу создать скрипт для загрузки изображения в лучшем разрешении (не предварительного просмотра) по ссылке deviantART, как если бы я нажал кнопку "Загрузить". Тем не менее, кажется, что deviantART ...
0
голосов
1ответ
306 показов

только сохранение первой строки файлов cookie

Я хочу скачать и сохранить все куки с определенной веб-страницы при использовании wget. Однако wget сохраняет только первую строку. Я хочу, чтобы сохраненные файлы cookie от wget были такими же, как ...
0
голосов
1ответ
1k показов

WGET/cron загрузка файла веб-камеры

наш новый городской врач установил веб-камеру в своей комнате ожидания, чтобы люди могли видеть, насколько многолюдно. Когда мои мама, дедушка и бабушка ходили к этому врачу, я хотел периодически ...
0
голосов
0ответов
66 показов

Определение используемых аргументов wget с помощью анализа файлов и выходных данных

Название говорит почти все. Иногда я использую wget для создания бесшовных резервных копий определенных веб-страниц (для просмотра в автономном режиме и, что наиболее важно, для сохранения их на ...
0
голосов
1ответ
214 показов

Как я могу скачать PDF-файлы сайта, используя только имя корневого домена?

Я использую эту команду: wget -nd -e robots=off --wait 0.25 -r -A.pdf http://yourWebsite.net/ но я не могу получить PDF с сайта. Например, у меня есть имя корневого домена: www.example.com и на этом ...
0
голосов
1ответ
269 показов

используя wget для заполнения формы веб-страницы

Я пытаюсь использовать wget для загрузки последних 100 историй игр для кено с сайта лотереи МО. Диапазон образцов -> 1420698-1420797 Веб-страница требует ввода диапазона и затем нажатия кнопки. Я ...
0
голосов
1ответ
470 показов

Wget не получает куки, не тянет назад результаты проверки.

У меня возникла пара проблем при переносе скриптов проверки между парой серверов. Сценарий. #!/bin/bash hostname=$1 port=$2 retstatus=0 retStr= st=`date "+%s.%N"` if [ $# -ne 2 ]; then echo "Error, ...