Wget - Скачать все изображения с веб-сервера

Question

Поэтому я хочу скачать все изображения с веб-сервера, в частности, JPEG. Команда, которую я запускаю, выглядит законной, и я знаю, что на сайте есть jpegs. Так например

wget -r -PC:/ -A.jpg http://somesitewithjpegs.com

Насколько я понимаю, эта команда будет рекурсивно сканировать весь сервер только для поиска изображений в формате jpeg, а затем загружать эти изображения на мой диск C:/. По какой-то причине это не работает.

Глядя на исходный код, я вижу, что изображения на самом деле не встроены непосредственно в страницу, а размещены в другом каталоге на сервере. Поэтому wget не может загрузить эти изображения?

Answer 1

Чтобы ответить на мой собственный вопрос, это правда, что wget может только переходить по ссылкам и загружать файлы напрямую. Поскольку большинство изображений связано с каталогом, который не поддерживает списки каталогов или имеет ограничения, wget не может проанализировать содержимое указанного каталога.

Хорошим примером этого является сайт WordPress, который хранит изображения в папке wp-content. Попытка пройти эту папку приводит к 403 запрещенной ошибке. Несмотря на то, что мы можем видеть это изображение в нашем браузере как связанную картинку, wget не имеет к ней доступа, поскольку изображение хранится в каталоге без прямого доступа.

Кто-то может добавить к этому ответу, если я упускаю детали или неправильно объясняю процесс.

Answer 2

Поэтому wget не может загрузить эти изображения?

Ответ:Возможно / Скорее всего.

Попробуйте добавить эти параметры:

-1

-H указывает приложению охватывать домены, что означает, что оно должно следовать ссылкам, указывающим на сайт (возможно, изображения подаются с другого сервера). А -l1 означает углубиться только на один уровень, то есть не переходить по ссылкам на связанном сайте.Таким образом, вы можете загружать содержимое с другого сервера, на котором размещены файлы изображений.

iirc, при зеркалировании всего сайта WordPress вы можете получить доступ к изображениям из папки wp-content.