Вопросы с меткой [wget]
GNU Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его легко вызывать из сценариев, заданий Cron, терминалов без поддержки X Window System (X11) и т.д.
735 вопросов
1
голос
0ответов
972 показов
Сценарий wget:% 0D в конце имени файла
У меня есть скрипт bash, который зацикливается на команде wget. Но я не знаю, почему у меня есть% 0D в конце всех имен файлов, кроме первого. for var in "${array[@]}" do wget -P output_folder ...
1
голос
1ответ
2k показов
Я могу пинговать, но не могу скачать из интернета
При использовании системного прокси Firefox не имеет доступа к Интернету. После смены прокси на auto, Firefox загружается нормально. В терминале, когда я пытался скачать с помощью wget, термин ...
1
голос
2ответа
205 показов
Как создать страницы доски сообщений IMDb?
Поскольку IMDb планирует удалить все доски объявлений за 2 недели, я бы хотел получить несколько страниц, однако wget не может это сделать. Вот что я сделал: Вы зарегистрированы как пользователь на ...
1
голос
0ответов
456 показов
Сделать статический сайт из WordPress сайта с помощью Bash
Я пробовал несколько других сценариев, которые могут сделать статическую версию сайта WordPress, но ни один из них не предназначен для массовых сайтов, и я не нашел ни одного, который будет просто ...
1
голос
2ответа
2k показов
Скачать ВСЕ файлы с веб-сайта со списком каталогов
Я знаю, что это возможно, но у меня возникла проблема, когда я хочу войти в папку с index.html / index.php, она автоматически перенаправляет меня на сайт, а не открывает папку. Вы можете проверить ...
1
голос
1ответ
487 показов
Wget цикл Bash с нумерацией загрузки?
Как я могу сделать, что-то вроде этого: wget http://website.com/page.html каждые x секунд и нумеруйте их. Я хотел бы, чтобы мой вывод был таким: page1.html page2.html и т.д. Я уже знаю, как сделать ...
1
голос
1ответ
32 показов
Странное поведение скорости сети при обновлении Linux?
Я использую Manjaro Linux, и сегодня, когда я обновлял свою систему, я увидел очень странное поведение скорости моей сети Ethernet. Но сначала позвольте мне сказать вам, что моя скорость загрузки ...
1
голос
1ответ
4k показов
Скачать каталог и подкаталоги через wget
У меня есть папка с просмотром папок в Интернете (http://example.com/folder1/folder2/) /folder2 имеет несколько папок с файлами PDF внутри них. Я хочу загрузить на свой сервер через ssh все ...
1
голос
1ответ
685 показов
Использование wget для загрузки CSS с получением параметров
Я пытаюсь отразить сайт, но ссылка на css имеет URL: http://127.0.0.1:2368/assets/css/screen.css?v=c44dc08367 Использование wget для загрузки сайта сохраняет файл css с именем файла ...
1
голос
0ответов
2k показов
Как я могу использовать Wget / Curl / Plowshare для загрузки с 1fichier.com в качестве премиум-члена?
Как я могу скачать файлы с 1fichier.com (я премиум-участник) с помощью Wget / Curl / Plowshare (Plowdown) или другого CLI / инструмента командной строки / скрипта?
1
голос
1ответ
5k показов
Wget "сдаваться" - закрытый FD 3
Я заранее прошу прощения за то, что был плотным, но я не могу понять, почему wget "сдается". Вот команда, которую я использую. wget --debug --tries 1 --read-timeout=900 --timeout=0 ...
1
голос
2ответа
7k показов
Как скачать файл за аутентификацией через Wget или cURL
Возможный дубликат: Wget страницу, которая требует входа в систему Я хочу скачать файл с http://mbr.nlm.nih.gov/Download/MetaMapped_Medline/2011/. Однако, чтобы загрузить файл, мне нужно ввести ...
1
голос
1ответ
1k показов
Wget скачать PDF-файлов не удалось
Я использую: wget -r -A pdf https://labraj.uni-mb.si но вместо PDF я получаю этот вывод в консоли: --2013-03-23 15:11:03-- https://labraj.uni-mb.si/ Resolving labraj.uni-mb.si (labraj.uni-mb.si)... ...
1
голос
1ответ
676 показов
Использование wget не дает такой же вывод, как браузер
Я использую wget для Windows (gnuwin32 wget-1.11.4-1) в Windows 8 и использую его для инструмента справочной службы под названием Kayako, который сообщает об опросе из очереди электронной почты. ...
1
голос
1ответ
1k показов
Как скачать несколько файлов XML с разных URL
@slhck дал полезный ответ на этот похожий вопрос. Загрузка нескольких файлов с помощью wget и параметров обработки Этот код был предоставлен для чтения URL-адресов из списка файлов текстовых файлов, ...
1
голос
1ответ
1k показов
Не могу "wget" с моего домашнего сервера Debian Lenny! Но порты открыты!
У меня очень странная проблема для меня. В этом примере DNS и IP скрыты по соображениям безопасности. Когда я пытаюсь из putty manager подключиться к моему Debian и написать следующую команду: ...
1
голос
2ответа
409 показов
Как я могу импортировать несколько URL в wget?
Я использую следующий код для загрузки «example1.com» с Windows. Однако этот код ограничен только одним URL. Можно ли импортировать текстовый файл, который содержит несколько URL? wget -erobots=off ...
1
голос
0ответов
4k показов
Wget: имя или служба не известны (Arch Linux x64)
Недавно я вернулся в свой университетский городок для занятий и вывел из настольного компьютера мой 64-битный Arch Linux. После обновления моих пакетов с помощью sudo pacman -Syu я перезагрузился и у ...
1
голос
6ответов
5k показов
неаутентифицированный http прокси, wget не работает, curl работает
Я использую настольную версию Ubuntu 10.04 i386. Я настроил прокси http через переменную http_proxy. Когда я использую wget я получаю отказ в соединении, но curl, apt-get и т.д. Работают нормально. ...
1
голос
1ответ
11k показов
сброс соединения через wget
Я использую следующий код для загрузки списка файлов PDF: wget -i list.txt -A .pdf Некоторые PDF-файлы загружены правильно. Тем не менее, некоторые файлы PDF не загружаются должным образом. Когда я ...
1
голос
1ответ
4k показов
Как мне настроить curl / wget с FTP прокси?
У меня много проблем с получением curl или wget для загрузки файлов с FTP-серверов через FTP-прокси. Я настроил программы FTP с графическим интерфейсом для работы ... gFTP работает с этими ...
1
голос
2ответа
697 показов
Казалось бы, случайные символы в выходных файлах wget
Я использую wget для создания резервной копии сайта, который работает локально на моем компьютере. Я использую команду: wget -rkE http://localhost/mpmf/www/dev Так что на самом деле это работает ...
1
голос
1ответ
575 показов
Обход большого каталога с помощью wget с двумя ссылками, указывающими на одно и то же
Я пытаюсь сканировать каталог на веб-сайте и в основном загружать все в нем. Структура достаточно проста (но есть также несколько папок), но есть одна вещь, которая заставляет wget подавиться. ...
1
голос
2ответа
223 показов
wget: разная скорость в режимах sudo и user
Если я запускаю wget из своего терминала для загрузки чего-либо, он осуществляет несколько попыток его загрузки и, в конце концов, загружает его (или нет!). Например, с тремя попытками и 10 секундами ...
1
голос
2ответа
1k показов
WGET нерекурсивный режим
Я использую wget для Windows. Я получил бинарные файлы отсюда. Когда я использую wget, по умолчанию он извлекает содержимое URL, указанного рекурсивно. Мне нужно получить только файлы, присутствующие ...
1
голос
2ответа
3k показов
керл не может подключиться; Wget может
пытается подключиться к моему сценарию на удаленном сервере с помощью curl но: col-pos-spd# curl -v http://***:80/monitor/reply.php * About to connect() to *** port 80 (#0) * Trying 83.xxx.xxx.2... ...
1
голос
1ответ
332 показов
Как использовать «Wget» для загрузки всего веб-сайта
Я использую этот код для загрузки: wget -m -k -H http://www.digu.com но если какой-то файл не может быть загружен, он будет повторяться снова и снова ， так как пропустить этот файл и скачать другие ...
1
голос
0ответов
199 показов
веб-паук / ползать, я могу это сделать или просто поисковые системы?
У меня уже был вопрос о просмотре веб-страниц с помощью wget. но когда я читаю немного больше, я понимаю, что, возможно, ищу программу для сканирования веб-страниц. в частности, часть о том, что ...
1
голос
3ответа
2k показов
Скачивание изображений с ftp сайта с помощью wget
Я пытаюсь настроить скрипт, который синхронизирует все изображения в удаленном каталоге FTP с локальным каталогом, который я могу запускать на регулярной основе, чтобы убедиться, что все новые ...
1
голос
2ответа
212 показов
Можно ли загрузить только определенный процент файла с помощью Kget (или wget)?
Мне нужно скачать несколько больших файлов (ISO-образы некоторых дистрибутивов Linux), и я подключен к Интернету через мобильное широкополосное соединение, которое имеет ограниченный объем ...
1
голос
2ответа
16k показов
wget не работает на одной машине: 404 Not Found
Я пытаюсь использовать wget для отладки и выпуска, который я имею. У меня есть удаленный компьютер с одного сервера, пытающийся связаться с query.json, и он работает нормально, подключается и ...
1
голос
1ответ
861 показов
рекурсивная загрузка всех папок и подпапок с веб-страницы
Я хотел бы скачать каталог с веб-страницы. я пытаюсь использовать wget и crawl, но я не могу загрузить весь каталог, как это было на веб-странице или каким-либо другим способом. Предположим, что ...
1
голос
1ответ
1k показов
Wget не возвращает нужную страницу
Когда я посетил этот сайт через мой Firefox 13, я получил страницу с некоторым содержанием. Но когда я использую wget, чтобы загрузить его: wget http://tinhvan.com Я получил другой контент на ...
1
голос
1ответ
378 показов
Как запустить команду внутри скрипта без указания точного местоположения?
Итак, у меня есть PHP-скрипт, который использует wget для загрузки некоторых изображений. Это выглядит примерно так: exec('wget -O saveImage.png http://location.of.image'); Когда я запускаю свой ...
1
голос
1ответ
855 показов
Как я могу скачать сгенерированные изображения с сайта
Я пытаюсь отразить сайт. Он следует простой схеме файлов .htm, но есть одна загвоздка. Каждый файл содержит следующую строку: Мне нужно скачать это изображение, но httrack и wget игнорируют вывод ...
1
голос
2ответа
2k показов
Как я могу скачать целую галерею изображений с помощью wget?
Есть галерея в формате: http:\\DOMAIN\file0001.jpg ⇒ http:\\DOMAIN\file0543.jpg Как я могу скачать их все, используя wget? Как я могу заставить его ждать 2 секунды между загрузками? Я использую Bash ...
1
голос
1ответ
412 показов
Сайт WordCount с использованием WGET
Я хотел бы знать, возможно ли использовать wget для подсчета всего сайта. Кто-нибудь уже пробовал это? Это то, что я нашел до сих пор: wget -q -O- http://www.website.com | grep -c .
1
голос
0ответов
169 показов
Скачать структуру веб-сервера с пустыми файлами
Я хочу сделать зеркало веб-сервера, но загрузка реальных файлов займет слишком много времени. Поэтому я подумал о том, чтобы иметь только структуру каталогов и файлов, и, когда мне нужно фактическое ...
1
голос
1ответ
67 показов
Есть ли способ отразить данные, необходимые только для загрузки страницы сайта index.html?
Я пытаюсь отразить целевую страницу сайта, чтобы провести на ней тестирование. Есть ли способ отразить только первый уровень сайта? IE все запросы должны становиться локальными файлами только для ...
1
голос
1ответ
195 показов
Wget перезаписывает файлы при зеркалировании многоязычного сайта
Я хотел бы отразить сайт с помощью wget. Проблема в том, что на сайте есть несколько языковых мутаций, которые переключаются с помощью параметра строки запроса, и когда wget начинает скачивать версию ...
1
голос
1ответ
859 показов
Попросите wget скачать страницы индекса каталога?
Я загружаю все файлы с веб-сайта ниже определенного узла. wget \ --recursive \ --no-clobber \ --page-requisites \ --html-extension \ --convert-links \ --domains www.___.uk \ --no-parent \ ...
1
голос
0ответов
456 показов
Невозможно получить информацию, используя wget, используя идентификатор сессии
Я использовал Wget для получения информации о гарантии с моего веб-сайта с помощью следующей команды. wget -q -O getinfo.tmp ...
1
голос
2ответа
3k показов
Скачать Speed cURL
У меня есть небольшая проблема с использованием cURL для загрузки с использованием FTP, то есть я думаю, что это довольно медленно, если вообще работает. Я обычно использую wget и этот файл, который ...
1
голос
1ответ
2k показов
Как отразить сайт на Linux?
Вот этот заброшенный блог ведьмы может исчезнуть в любой момент, и я хочу сделать для просмотра копию этого сайта. Сохраненные страницы должны содержать правильные ссылки на странице, понравившиеся ...
1
голос
0ответов
296 показов
правильные опции для перемещения / загрузки страниц / каталогов поддоменов
Предположим, существует сайт со следующими каталогами (поддомен) index.php |-sub1 |-index.php |-sub1sub1 |-index.php |-other.php |-sub1sub1sub1 |-sub2 |-index.php |- …. |-sub3 |- ... Мой вопрос Как ...
1
голос
2ответа
67 показов
wget: как получить каталог в указанный каталог
Я использую команду: wget -r -nH ftp://some.domain.com/home/work/test/* -P ./my Выходной каталог становится: ./my/home/work/test/* Как я могу сделать это просто ./my/*?
1
голос
3ответа
580 показов
Объяснение команды
Кто-то взломал мой частный сервер, и я нашел ниже команду из истории командной строки. Может ли кто-нибудь объяснить, что это значит? 1. wget http://sysoev.ru/nginx/nginx-0.7.64.tar.gz && tar zxf ...
1
голос
1ответ
875 показов
Как скачать несколько URL с помощью wget с помощью одной команды?
Я использую следующую команду для загрузки одной веб-страницы со всеми ее изображениями и js с помощью wget в win7: wget -E -H -k -K -p -e robots=off -P /Downloads/ ...
1
голос
3ответа
7k показов
wget - множество URL в .txt файле - скачать и сохранить как
У меня есть 2000 URL в файле Excel. URL-адреса находятся в первом столбце, а во втором столбце указаны имена файлов, загруженных с URL-адреса в первом столбце. Я могу скопировать это и вставить в ...
1
голос
3ответа
282 показов
Wget не делает то, что должен делать
У меня есть простой пакетный файл, который должен установить Flash, перейдя на сайт и нажав кнопку загрузки. Однако то, что он делает, совершенно другое: он переходит на веб-сайт, и сайт загружает ...