Загрузите ВСЕ папки, вложенные папки и файлы с помощью Wget

Question

Я использовал Wget, и я столкнулся с проблемой. У меня есть сайт, на котором есть несколько папок и подпапок. Мне нужно скачать все содержимое в каждой папке и подпапке. Я попробовал несколько методов, используя Wget, и когда я проверяю завершение, все, что я вижу в папках, это файл "index". Я могу нажать на индексный файл, и он приведет меня к файлам, но мне нужны сами файлы.

У кого-нибудь есть команда для Wget, которую я пропустил, или есть другая программа, которую я мог бы использовать, чтобы получить всю эту информацию?

пример сайта:

www.mysite.com/Pictures/ в папке Pictures DIr есть несколько папок .....

www.mysite.com/Pictures/Accounting/

www.mysite.com/Pictures/Managers/Северная Америка / Калифорния / JoeUser.jpg

Мне нужны все файлы, папки и т.д .....

Answer 1

Я хочу предположить, что вы не пробовали это:

wget -r --no-parent http://www.mysite.com/Pictures/

или для извлечения контента, не загружая файлы «index.html»:

wget -r --no-parent --reject "index.html*" http://www.mysite.com/Pictures/

Ссылка: Использование wget для рекурсивного извлечения каталога с произвольными файлами в нем

Answer 2

Я использую wget -rkpN -e robots=off http://www.example.com/

-r означает рекурсивно

-k означает конвертировать ссылки. Так что ссылки на веб-странице будут localhost вместо example.com/bla

-p означает получить все ресурсы веб-страницы, поэтому получите изображения и файлы javascript для правильной работы сайта.

-N - получать метки времени, поэтому, если локальные файлы новее, чем файлы на удаленном веб-сайте, пропустите их.

-e это опция флага, она должна быть там, чтобы robots=off работали.

robots=off означает игнорировать файл роботов.

У меня также была -c в этой команде, так что если они потеряли соединение, продолжили бы с того места, где оно было прервано после повторного запуска команды. Я подумал, что -N будет хорошо с -c

Answer 3

wget -m -A * -pk -e robots = off www.mysite.com/ это загрузит все типы файлов локально и укажет на них из HTML-файла
и он будет игнорировать файл роботов