Вопросы с меткой [wget]
GNU Wget - это бесплатный программный пакет для извлечения файлов с использованием HTTP, HTTPS и FTP, наиболее широко используемых интернет-протоколов. Это неинтерактивный инструмент командной строки, поэтому его легко вызывать из сценариев, заданий Cron, терминалов без поддержки X Window System (X11) и т.д.
735 вопросов
3
голоса
2ответа
2k показов
Ошибка Wget для Windows: «Не удалось правильно запустить приложение (0xc000007b)».
Я скачал бинарный файл Wget для Windows отсюда: http://gnuwin32.sourceforge.net/packages/wget.htm Я не могу выполнить его, не получив следующую причудливую ошибку:«Приложение не удалось запустить ...
3
голоса
0ответов
328 показов
Wget: конвертировать ссылки в автономном режиме
Предположим, я скачивал сайт, не закончил загрузку, но хочу уже конвертировать ссылки. Является ли это возможным? Обычно - после завершения загрузки - wget конвертирует ссылки в локальную, если была ...
3
голоса
1ответ
6k показов
Как я могу закодировать URL для wget?
Я ищу способ преобразовать строку в чистый URL-адрес. Например : wget http://myurl.com/toto/foo bar.jpg Это будет загружать http://myurl.com/toto/foo и http://bar.jpg . Я хочу скачать ...
3
голоса
1ответ
1k показов
Вход на веб-страницу с помощью скрипта
Я пытаюсь автоматизировать извлечение некоторой информации с веб-сайта, который сначала требует, чтобы я вошел в систему. Я делал это в прошлом (несколько лет назад) с помощью wget, но этот метод ...
3
голоса
1ответ
2k показов
Как я могу получить список всех сообщений в моей учетной записи Gmail в командной строке Linux?
Как я могу получить список всех сообщений в моей учетной записи Gmail в командной строке Linux? В идеале я хотел бы увидеть что-то похожее на: from:sender1@domain.com to:me@gmail.com Date:11/22/33 ...
3
голоса
1ответ
1k показов
Есть ли способ загрузить все .txt файлы со страницы с помощью команды curl или wget?
У меня вопрос в заголовке: есть ли способ загрузить все .txt файлы со страницы с помощью команды curl или wget? Спасибо
3
голоса
1ответ
3k показов
Wget рекурсивно с опцией -np все еще поднимается в родительский каталог
tl; dr: загрузит ли `wget --no-parrent -r 'из каталога выше каталога данного URL? при использовании wget для загрузки, скажем, изображений, рекурсивно с example.com/a/b с параметрами -r и -np, будет ...
3
голоса
1ответ
5k показов
Windows: эквивалент Терминала OS X "&"
Есть ли способ под Windows 7 эмулировать поведение символа & в терминале OS X? Я пытаюсь запустить несколько экземпляров Wget одновременно: я могу сделать это без проблем с сортировкой в OS X, потому ...
3
голоса
1ответ
1k показов
Принудительно использовать wget-прокси для не-окружающего прокси
Есть ли способ заставить wget использовать определенный прокси-сервер Squid при установлении соединений? Обычно я использую прокси-сервер squid, но мне нужен этот конкретный запрос, чтобы пройти ...
3
голоса
3ответа
11k показов
Проблемы с Wget на сайте CloudFlare: 503 Сервис недоступен
Я видел другие случаи ошибок 503 с использованием Wget, но я не могу решить эту проблему. Когда я пытаюсь загрузить определенный веб-сайт, я получаю ошибку 503 Service Unavailable. Этого не ...
3
голоса
3ответа
11k показов
Где я должен поставить libintl3.dll, чтобы wget работал
Я загрузил двоичный файл wget для Windows. Я поместил его в папку System32 . Когда я пытаюсь запустить команду, появляется сообщение об ошибке: Программа не может запуститься, потому что libintl3.dll ...
3
голоса
3ответа
909 показов
Что эквивалентно "wget -i FILE" в Curl?
Что эквивалентно "wget -i FILE" в Curl?
3
голоса
1ответ
4k показов
Пакетная загрузка URL-адресов из многопоточной командной строки
У меня есть 100 000 URL-адресов небольших файлов для загрузки. Хотелось бы использовать 10 нитей и конвейерная обработка является обязательным условием. Я объединяю результат в один файл. Текущий ...
3
голоса
2ответа
2k показов
Зеркальный веб-сайт с Wget, но только соответствующий шаблон URL
Я хочу отразить сайт. Это встроено, как это. abc.com/A/B/1/... abc.com/A/D/2/... abc.com/A/R/3/... abc.com/A/G/4/... abc.com/A/F/5/... abc.com/A/B/6/... И я только хочу получить все ссылки по этой ...
2
голоса
1ответ
4k показов
Как обойти метод ОШИБКИ 405, не разрешенный с HTTP-сообщением
Я пытаюсь сделать HTTP-сообщение на этом сайте: https://www.colorado.gov/revenueonline/_/#2 (нажмите « Подтвердить лицензию на налог с продаж» в правом нижнем углу) используя wget со следующей ...
2
голоса
2ответа
7k показов
Скачать весь каталог с веб-сайта, используя Powershell
Я использовал следующую команду, чтобы получить файлы с веб-сервера и сохранить их на моем локальном компьютере: $client = New-Object System.Net.WebClient ...
2
голоса
2ответа
5k показов
Как распаковать сжатый файл во время загрузки?
Я загружаю большой файл, который не является архивом, и я хочу объединить задачи загрузки и распаковки. Как я могу сделать их одновременно?
2
голоса
1ответ
80 показов
Как я могу получить уведомление, если wget не может зайти на сайт за x секунд?
Как я могу установить тайм-аут для wget и получить уведомление, что время соединения истекает через 20 секунд? Пока я попробовал следующую команду wget --spider www.example.com
2
голоса
1ответ
2k показов
Получить имя файла из wget --content-disposition
Внутри bash-скрипта я динамически загружаю файл, и поэтому я использую wget --content-disposition чтобы убедиться, что имена файлов правильные, но как мне получить имя файла, wget сохранила его как?
2
голоса
1ответ
1k показов
Скрипты, расширяющие wget - page-реквизиты?
Я опубликовал очень похожий вопрос сегодня, но я хотел бы задать его еще раз с фокусом на wget/linux. Я надеюсь, что все в порядке. Мне нужно создавать автономные копии веб-страниц программно в стеке ...
2
голоса
1ответ
409 показов
Wget - сложность, исключая домены и каталоги
Я использую Wget в Windows 7. Я считаю, что это ограничивает меня до Wget 1.11.4. Для тех, кто интересуется подробностями, я разместил образец файла wgetrc. Это образец, который я сейчас использую. ...
2
голоса
0ответов
162 показов
Wget -nv не печатает сообщений об ошибках
Я пытаюсь написать скрипт для установки задания cron для автоматической загрузки файла с помощью wget . Вот важная часть: $ wget -N --passive-ftp -P /home/myuser ...
2
голоса
0ответов
226 показов
wget поместил все предпосылки в плоский подкаталог, но не в корневую страницу?
Я пытаюсь получить wget, чтобы сохранить страницу + предварительные требования в формате, похожем на формат веб-браузера: article.html article_files/img.jpg article_files/script.js Я могу получить ...
2
голоса
2ответа
12k показов
Как я могу собрать определенные данные с сайта
Я пытаюсь собрать данные с сайта для исследования. URL-адреса хорошо организованы в формате example.com/x, где x - это возрастающий номер, а все страницы структурированы одинаково. Мне просто нужно ...
2
голоса
1ответ
293 показов
WGT загружает все файлы, кроме изображений, которые я хочу
У меня проблемы с использованием Wget для загрузки изображений из галереи. как начало я использую страницу обзора. он имеет большие пальцы, которые ссылаются на отдельные страницы с большими ...
2
голоса
2ответа
12k показов
crontab - /bin /sh: wget: команда не найдена
Я хочу установить crontab на моем Macbook Pro под управлением Lion. Я запускаю обычный crontab -e и быстро провожу работу, чтобы увидеть, все ли работает нормально --- */10 * * * * wget -O - -q -t 1 ...
2
голоса
2ответа
3k показов
ошибка wget 400 CentOS
У меня проблема с вызовом команды wget в CentOS 6.5. Я использую следующую команду: (Я разместил https из-за моего уровня пользователя на этом форуме) wget --certificate =/root/o2key.pem ...
2
голоса
0ответов
1k показов
WGET не работает, но CURL работает на тот же адрес / хост?
WGET дай мне эту ошибку: HTTP request sent, awaiting response... 403 Forbidden 2015-11-23 12:07:06 ERROR 403: Forbidden. Если я пытаюсь использовать тот же URL-адрес (это внутренний сервер Apache, ...
2
голоса
1ответ
677 показов
Как возобновить зеркалирование wget из другого места?
Мне не хватает места в моей домашней папке, где я сейчас зеркалирую этот сайт для целей установки cygwin на моем компьютере с Windows, используя wget с моего компьютера с Linux. я знаю, что я могу ...
2
голоса
2ответа
389 показов
простой способ автоматического получения изображения для фона рабочего стола?
Я хотел бы автоматически загрузить и заменить изображение с веб-сайта НАСА для использования в качестве рабочего стола. в Linux я использовал для этого задачу cron, используя wget для получения файла ...
2
голоса
1ответ
8k показов
WGET загрузка крайне медленная
Я использую следующую команду wget -r -np -k -p http://www.site.com/dir/ Чтобы загрузить небольшой архив файлов (есть пара сотен файлов, поэтому я не хочу нажимать кнопку загрузки на каждом из них и ...
2
голоса
1ответ
1k показов
Есть ли простой способ установить список пакетов в Cygwin?
Есть ли простой способ установить список пакетов в Cygwin? Я пробовал аргументы командной строки безуспешно. Например, я попробовал следующее безуспешно при удалении wget . ./setup-x86_64.exe -q -x ...
2
голоса
1ответ
896 показов
Зеркалирование с помощью wget - исключить старые файлы
Я использую wget для зеркалирования файлового архива ftp. Это моя команда: wget -m $mirror (Лишены все ненужные параметры) Пока все в порядке, все отличия от онлайн-архива будут синхронизированы. Но ...
2
голоса
1ответ
646 показов
Как скачать веб-ссылки с помощью wget, которые не заканчиваются на .html?
Я хочу загрузить эту веб-страницу с помощью wget в Win7: ...
2
голоса
0ответов
130 показов
wget - ограничить количество следующих ссылок
Я хочу сделать зеркало веб-сайта, но ограничить отслеживание только конкретными ссылками. Команда: wget --recursive --page-requisites --html-extension --convert-links --domains linuxmagazine.pl ...
2
голоса
1ответ
216 показов
Остановите wget, но разрешите конвертировать ссылки
Я запускаю команду wget с довольно большой глубиной рекурсии. Глубокая глубина рекурсии необходима для получения нужных мне файлов, но я не хочу ждать завершения операции. Я вижу, что могу завершить ...
2
голоса
2ответа
335 показов
Быстрый способ скачать много маленьких веб-страниц?
Мне нужно как можно быстрее загружать множество маленьких страниц. Средний размер одной страницы - 3 КБ. Есть миллионы страниц. Сначала я попробовал curl но это было слишком медленно, возможно ...
2
голоса
0ответов
918 показов
403 при загрузке с облачного фронта с помощью wget (после 302)
Я пытаюсь загрузить файл из облачного фронта. Это файловый архив с сайта scala-sbt. При использовании браузера (Chrome) все ок. В основном поток выглядит так: ...
2
голоса
1ответ
620 показов
wget скачать с зеркала ссылки для скачивания
Я пытаюсь скачать с помощью wget tar.gz. Файл перенаправляется на основе параметров URL, поэтому все загрузки перенаправляются автоматически. например: wget ...
2
голоса
1ответ
712 показов
wget загружает пустые файлы даже при правильном реферере и куки
Я пытаюсь отсканировать Бренда Энзимы за кучу файлов молекул с помощью скрипта. Если я просто загружаю по URL-адресу файла (это перенаправление PHP), я получаю файл размером 0 КБ, поэтому я думаю, ...
2
голоса
3ответа
76 показов
зеркальное отображение полного веб-сайта1 и всех ссылок на конкретный веб-сайт2
Я хочу отразить сайт, который скоро будет удален, проблема, с которой я сталкиваюсь в данный момент, проста -> отразить весь сайт1 и все ссылки (будут файлы / изображения / аналогичные) на сайт2, так ...
2
голоса
2ответа
1k показов
Wget скачать 403 Запрещено или 503 сервис недоступен
Прежде всего я должен сказать, что есть много вопросов об этой ошибке, но я почти все перепробовал, но все же у меня есть. URL = ...
2
голоса
3ответа
5k показов
wget отсутствует в установке Cygwin
Я пытался установить oh-my-zsh и нашел статью, требующую для этого 'wget'. Моя установка cygwin64 в Windows 7 не содержала «wget» - я искал его в поисковом фильтре программы установки, и wget не был ...
2
голоса
1ответ
5k показов
Тест скорости интернета Windows
Я пытаюсь проверить скорость интернета с моего ноутбука с Windows 8 в течение, скажем, 24 часов. Поэтому я хотел бы повторно запустить команду для проверки скорости. Различные веб-сайты (например, ...
2
голоса
1ответ
719 показов
Скачать целые сайты в формате JPEG с помощью Wget, а не только эскизы
Когда я пытаюсь извлечь все JPEG из этого сайта (http://www.zodiackillerfacts.com/gallery/) с помощью wget: wget -A jpg,jpeg -r http://www.zodiackillerfacts.com/gallery/ он загружает только ...
2
голоса
2ответа
5k показов
Как скачать изображение с помощью wget и сохранить его с хэшем md5 в качестве имени?
Как я могу загрузить изображение, хэшировать его в md5 и сохранить это изображение с хэшем md5 в качестве имени в каталоге, используя wget? # An example of the image link... ...
2
голоса
1ответ
1k показов
Как заставить wget выводить резюме?
У меня есть скрипт bash, который запускает серию команд wget и регистрирует вывод. Я использую следующие варианты: wget --no-verbose --page-requisites --adjust-extension --convert-links ...
2
голоса
0ответов
1k показов
wget: невозможно определить адрес хоста
У меня RedHat Enterprise версии 5.2. Я бегу это wget --http-user=celee --http-password=1010$ -k -nd -np -r http://sp.kch.de/RandD/DesSup/Mask%20Tooling%20Runsets/ -o wget.log Файл wget.log выдает ...
2
голоса
3ответа
9k показов
Невозможно записать в `- '(сломанный канал) при попытке установить ключ подписи репозитория
Я пытаюсь установить INetSim на рабочий стол Ubunutu 14.04. Я отредактировал список источников с помощью предварительно скомпилированных пакетов Debian. Затем, когда я пытаюсь установить ключ подписи ...
2
голоса
1ответ
548 показов
Как отключить интернет, используя curl или wget, чтобы включить мой роутер в сценарии?
Я хочу иметь возможность запускать некоторые командные сценарии / команды curl для переключения моих телевизионных сервисов путем доступа к форме на странице маршрутизатора с помощью curl или wget. ...