Вопросы с меткой [wget]
GNU Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его легко вызывать из сценариев, заданий Cron, терминалов без поддержки X Window System (X11) и т.д.
735 вопросов
2
голоса
5ответов
7k показов
Последний файл с ftp сервера, используя wget или другой способ
Как я могу скачать последний файл, доступный на FTP-сервере, используя wget. Если я использую приведенную ниже команду, она дает все файлы. wget ftp://id: пароль @ ftpserver/dir/ * С уважением, Рам.
2
голоса
1ответ
1k показов
Есть ли curl и wget автоматически открывать сжатые файлы?
Я сделал два http-запроса на один и тот же GZIP-ресурс с двух разных машин - RHEL и OSX. curl http://example.com/file.gz Первый вызов вернул ожидаемый двоичный вывод: /�IQ���} Второй звонок вернул ...
2
голоса
1ответ
638 показов
wget как скачать zip файлы с параметрами запроса, прикрепленными к имени файла
Я отправляю запрос на сервер клиентов с помощью wget . Я хочу загрузить все файлы .zip но проблема в том, что к файлам .zip добавлены ключи / значения. Вот так: ...
2
голоса
1ответ
390 показов
конфликты имени файла и имени каталога
Мы используем WGET 1.12 для окон на сайте (с параметрами follow_tags = a, reclevel = 8, recursive = on и timestamping = on в настройках wgetrc) и наблюдаем две проблемы: а. Файл удаляется и создается ...
2
голоса
1ответ
779 показов
Что является более прозрачным, curl или wget в этом проекте веб-сканера?
У меня есть файлы на сервере Windows 7, xampp (с использованием измененного порта, 181). Я запускаю скрипт с другого компьютера (linux), используя curl http://xxx.xxx.xxx:181/phpproject.php Этот ...
2
голоса
1ответ
159 показов
Как получить доступ к Интернету на моем Firefox через SSH Remote?
Хорошо, я совершенно пуст в этот странный мир. Допустим, я могу получить доступ к удаленному серверу ssh (серверу, который не no GUI и no monitor но имеет подключение к internet ), используя терминал ...
2
голоса
1ответ
4k показов
Почему wget загружает определенные файлы, но не может загрузить их все сразу?
Я использую Windows XP и пытаюсь использовать wget для загрузки всех картинок (и некоторых других файлов) с моего сайта, который будет закрыт на хосте примерно через две недели (поэтому мне нужно ...
2
голоса
1ответ
2k показов
исправить wget "неверный или неполный многобайтовый или широкий символ"
Wget покажет мне Can't write to ... (invalid or incomplete multibyte or wide character) когда я пытаюсь создать дамп сайта с персидскими или арабскими символами в URL. Есть ли у wget какие-либо ...
2
голоса
1ответ
642 показов
Массовая загрузка SFTP файлов, указанных в каталогах, сохраняющих URL
У меня есть список из нескольких сотен файлов, которые мне нужно вытащить через SFTP. Они расположены в разных каталогах, и мне нужно, чтобы они находились в одной и той же папке на моем локальном ...
2
голоса
2ответа
1k показов
Wget неожиданно завершает работу
Мне нужно периодически проходить сайт, чтобы обновить кеш сервера. Это управляемый базой данных сайт с очень многими (тысячами) страницами. Я использую wget для локального зеркалирования сайта на том ...
2
голоса
1ответ
2k показов
Скачать файл с сайта в командной строке в Linux
Мне нужно скачать файл с веб-сайта, который имеет URL-адрес в следующем формате: http://www.server.com/downloads/1234/ Это перенаправляет в файл .zip, который должен быть сохранен. Существует также ...
2
голоса
1ответ
113 показов
Как убедиться, что самая последняя версия файла полностью загружена при минимальной передаче по сети
Я ищу команду оболочки, которая надежно гарантирует, что файл полностью загружен, но избегает повторной загрузки чего-либо без необходимости. Вот псевдокод того, на что я надеюсь: If file doesn't ...
2
голоса
1ответ
994 показов
Возобновление отмененной загрузки с помощью WGET
На полпути через 4ГБ загрузки я случайно перезагрузил систему. При загрузке назад я почувствовал ужас от того, что отменил кровавую загрузку из-за этого. Я загрузил свою Ubuntu VM и пытаюсь WGET ...
2
голоса
2ответа
52 показов
Как я могу получить информацию с веб-сайта, на котором нет прямых ссылок?
Я пытаюсь загрузить большой файл с этого сайта на удаленный сервер под управлением CentOS. Обычно я просто щелкаю правой кнопкой мыши по ссылке, копирую адрес, затем wget [address] , но на этом сайте ...
2
голоса
0ответов
191 показов
измерять пропускную способность сети приложения или сценария командной строки
Как я могу "поставить в коробку" приложение командной строки или скрипт, который я запускаю, чтобы определить, сколько трафика он использовал? например, я хочу запустить wget -rk http://example.com . ...
2
голоса
1ответ
2k показов
Загрузки останавливаются и не возобновляются
У меня есть сформированное соединение ADSL 384 кбит / с ("широкополосный" начального уровня) с интернет-провайдером, которое проходит по обязательной аналоговой голосовой линии, предоставляемой ...
2
голоса
0ответов
51 показов
Создание --convert-ссылок на wget уважает http против https
Я использую следующую команду для зеркалирования веб-сайта https: wget --directory-prefix=/tmp/mirror --mirror --no-host-directories \ --regex-type pcre --reject-regex "$SKIP_REGEXP" \ ...
2
голоса
1ответ
249 показов
Будет ли процесс wget продолжать работать после выхода администратора из системы?
Я вошел на сервер Windows 2008 через удаленный рабочий стол как администратор и запустил процесс wget, который займет 24 часа, чтобы загрузить 29 файлов. Если кто-то войдет в систему в течение этого ...
2
голоса
0ответов
200 показов
wget не находит существующий файл (ftp)
У меня есть proftpd на моем сервере. Я не совсем уверен, что его конфигурация идеальна, но что-то я не могу понять: $ LC_ALL=en ls -l useradd.LDAP.tar.gz ls: cannot access 'useradd.LDAP.tar.gz': No ...
2
голоса
2ответа
3k показов
Сбой соединения HTTP с аутентификацией wget
Во-первых, я не парень по Linux, но иногда мне приходится выдавать себя за веб-разработчика. Итак, у нас есть сервер Red Hat, и я использую wget в crontab для запуска некоторых скриптов PHP. Мы ...
2
голоса
1ответ
2k показов
Не могу заставить wget отклонять / исключать файлы из списка
Проблема в том, что у меня есть файл со списком URL-адресов, скажем, links.txt: http://www.tipsfor.us/wp-content/uploads/2009/01/vim-editor-icon.png ...
2
голоса
0ответов
66 показов
Как контролировать размер данных, которые я получаю при выполнении HTTP-запроса POST с помощью wget?
Я пытаюсь автоматизировать вход на веб-сайт путем репликации HTTP-запроса POST с помощью wget. Мне не нужны данные ответов, не говоря уже о том, что ожидание всего этого увеличивает время выполнения ...
2
голоса
1ответ
1k показов
Wget без хранения кеша
Я пытаюсь запустить скрипт удаленного bash, размещенный на github: wget -O - https://raw.githubusercontent.com/xxxxx/script.sh Все работает хорошо, проблем нет Но когда я обновляю скрипт выше и ...
2
голоса
0ответов
1k показов
Как скомпилировать сегменты .m4s для плеера Vimeo?
Я пытаюсь удалить некоторые видео с веб-сайта, который требует входа в систему. Я пытался использовать youtube-dl с параметром --cookies но он говорит о неподдерживаемом URL. Я попытался передать ...
2
голоса
2ответа
1k показов
wget не видит прокси под cron
Я новичок в freebsd и у меня проблема: мой скрипт использует wget . когда я вызываю его из командной строки, он работает нормально, и я вижу вывод, как это: --2011-09-22 15:55:58-- ...
2
голоса
0ответов
1k показов
Рекурсивная загрузка wget приводит к ошибке 403 Forbidden. Решение?
Я пытаюсь рекурсивно загрузить набор файлов с сайта, используя wget -r -l2 -A.pdf -U Mozilla -e robots=off http://download.xyz.com/songs/ Но это не работает, скорее выдает ошибку. onnecting to ...
2
голоса
1ответ
848 показов
Команда Wget не работает в Cygwin для Windows
Сейчас я использую Wget и загружаю Cygwin в качестве терминала. Кроме того, я использую http://djangoproject.com/download/1.3.1/tarball/ в качестве тестовой ссылки для загрузки файлов. Процесс ...
2
голоса
1ответ
85 показов
Как мне перевести следующую команду «for /f» из cmd для эквивалентной команды в Linux centos 6,64?
Как я могу перевести следующую команду CMD в команду в linux centos 6,64? for /f "tokens=1*" %i in (links.txt) do wget -O "%j" "%i" PS: links.txt - это файл с двумя столбцами, разделенными ...
2
голоса
0ответов
418 показов
Ошибка wget "Преобразование ссылок в" url "Обнаружена неполная или недопустимая многобайтовая последовательность"
Я пытаюсь помочь коллеге на MacBook Air MacOsx 10.11.06 в архивировании веб-сайта с помощью wget (версия 1.19.1), установленной через brew. Используя эту команду. wget --recursive --no-clobber ...
2
голоса
2ответа
1k показов
Пакетная загрузка страниц из вики без специальных страниц
Время от времени я нахожу в Интернете некоторую документацию, которая мне нужна для автономного использования на ноутбуке. Обычно я запускаю wget и получаю весь сайт. Однако многие проекты теперь ...
2
голоса
1ответ
3k показов
wget --convert-links добавление 'index.html'
Я пытаюсь отразить сайт с помощью wget. Большинство ссылок на сайте указывают на подпапку, например, http://foo.com/x/ . Однако когда я использую --convert-links , он переписывает URL-адрес на ...
2
голоса
1ответ
162 показов
Есть ли способ использовать wget для загрузки сайта и ВСЕХ его необходимых документов, включая удаленные
Я хочу сделать что-то похожее на следующее: wget -e robots=off --no-clobber --no-parent --page-requisites -r --convert-links --restrict-file-names=windows ...
2
голоса
1ответ
6k показов
Как вы находите размер веб-сайта?
Предположим, я хочу скачать какой-нибудь вики-сайт. Похоже, что он имеет только 2000 статей - но с технологией вики - они содержат несколько версий каждой статьи ... Так что это все еще может быть ...
2
голоса
0ответов
384 показов
Заставьте wget конвертировать абсолютные ссылки вместе с относительными ссылками
Я пытаюсь сделать резервную копию сайта с помощью wget . В настоящее время я бегу wget -p --mirror --html-extension --convert-links http://www.example.com`. --convert-links ведет себя так же, как и ...
2
голоса
2ответа
4k показов
Как загрузить все изображения с веб-сайта с помощью wget?
Я хочу, чтобы вы помогли мне с wget , я хочу загрузить все изображения с веб-сайта стоковых изображений, например https://pixabay.com/ но когда я ввожу код в терминал, ничего не загружается, ни jpg , ...
2
голоса
1ответ
307 показов
Опция wget -nd (--no-directoryies) не работает должным образом
Я использую wget 1.12 (в msys, если это имеет значение) и пытаюсь отразить сайт с параметром -nd , так как имена файлов и папок на этом сайте очень длинные. Документы утверждают, что ‘-nd’ ...
2
голоса
0ответов
2k показов
TLS фатальное оповещение в wget
Я хотел скачать файл, я обычно использовал бы wget для такого действия, но это выдает мне ошибку TLS. root@darren-hp:/var/www/html/adminer# wget ...
2
голоса
1ответ
2k показов
Wget Pattern Проблема
У меня проблема с wget и приемом шаблонов. То, что я хочу сделать, это загружать только файлы, которые соответствуют шаблону \*/images/src/test\*.jpg. Я использую команду wget -r -A ...
2
голоса
2ответа
1k показов
wget (или curl) все содержимое ветки форума?
URL темы форума, к которой я пытаюсь получить доступ, находится в форме http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1 я пробовал wget --user-agent = Mozilla/5.0 ...
2
голоса
3ответа
700 показов
Wget страницу, которая требует входа в систему
Я пытаюсь найти способ использования Wget или аналогичного инструмента, чтобы я мог запланировать регулярную загрузку веб-страницы как своего рода журнал обновлений. Проблема в том, что страница ...
2
голоса
2ответа
500 показов
Знаете ли вы какой-либо ускоритель загрузки, который может возобновить частичные загрузки с wget?
Я использовал wget для загрузки большого файла. Через несколько часов я понял, что было бы лучше использовать ускоритель загрузки. Я не хотел бы отбрасывать значительную часть, которую wget уже ...
2
голоса
1ответ
1k показов
Зеркало сайта Wget, ссылки с rel = "<content>" не отслеживаются
При создании зеркала сайта с использованием wget 1.12 в Ubuntu ссылки с набором атрибутов rel не загружаются: text Rel = "tag" - это микроформат (добавляя rel="tag" к гиперссылке, страница указывает, ...
2
голоса
0ответов
128 показов
горести производительности сети msys2
При новой установке 32-разрядной версии msys2 (требуется для git-annex) из https://msys2.github.io/ в 64-разрядной версии Windows 7 с пакетом обновления 1, я вижу невероятно медленную скорость ...
2
голоса
0ответов
23 показов
Как я могу скачать весь (активный) форум SMF2?
Возможный дубликат: Как я могу скачать весь сайт? Я хотел бы загрузить полную копию форума Simple Machines 2. Я хочу сделать локально просматриваемую копию всего форума. Форум полностью открытый, я ...
2
голоса
0ответов
8 показов
Рекурсивное зеркалирование сайтов с фильтрацией
Попытка получить кучу файлов с веб-сайта без загрузки полного содержимого. Вот что я пытаюсь: wget --no-clobber --convert-links --random-wait -r -p - уровень 10 -e роботы = выкл -U Mozilla -A zip, ...
2
голоса
2ответа
7k показов
Разрешение DNS через прокси
Я нахожусь за очень капризным прокси (squid) и, похоже, разрешены только http-запросы, сделанные с конкретным пользовательским агентом. При получении google.com из Google Chrome я вижу HTTP GET на ...
2
голоса
0ответов
209 показов
Извлечение из файлов ftp с использованием подстановочных знаков
Какой самый эффективный способ извлечь все соответствующие данные из ftp, если адрес указанных данных может быть указан с подстановочными знаками, как показано ниже: ...
2
голоса
1ответ
334 показов
Wget и тег <video>
Я использую wget для рекурсивной загрузки всех страниц с сайта (включая все CSS, JS и изображения) это прекрасно работает, за исключением того, что не следует тегу и не загружает видеофайлы есть ли ...
2
голоса
2ответа
48 показов
Возобновить wget после отмены
Я копирую веб-сайт и ^c отменил его, и если я возобновлю работу, он сделает все заново, но не скопирует его из-за существующих папок. Я хотел бы возобновить копирование wget -r и игнорировать все уже ...
2
голоса
1ответ
2k показов
Скачать структуру каталогов сайта без его файлов?
Я гуглил по этому поводу, но не смог найти пример того, как использовать, например. wget для загрузки структуры каталогов сайта без загрузки каких-либо его файлов. На данный момент мне просто нужно ...