У меня есть веб-каталог, в котором есть много папок и много подпапок, содержащих файлы.
Мне нужно скачать все, используя Wget или Bash.
Попробуйте: wget -r
и посмотрите, работает ли это.
Лучший способ это:
wget -m <url>
Что сокращенно от wget "mirror":
-m, --mirror shortcut for -N -r -l inf --no-remove-listing.
$ wget \
--recursive \
--no-clobber \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=windows \
--domains website.org \
--no-parent \
www.website.org/tutorials/html/
Эта команда загружает веб-сайт www.website.org/tutorials/html/.
Варианты:
Или попробуйте решение от Ubuntu.
wget --recursive
(или что-то еще) не работает для меня (я на CentOS). lftp
сделал это:
lftp -c "open http://your.server/path/to/directory/; mirror"
Смотрите Wget Рекурсивный поиск.
wget -r -l 5 -O whatever http://example.com/
У вас есть веб-каталог? Он расположен на удаленной машине, и вы можете получить к нему доступ только через HTTP, или у вас есть доступ к оболочке? Ваше упоминание bash подразумевает доступ к оболочке, если вы не подразумеваете использование wget из командной строки bash.
Wget не всегда очень эффективен, поэтому, если у вас есть доступ с оболочки к машине, на которой расположен веб-каталог, и вы хотите скачать ее, вы можете сделать это
$ tar cjf webdir.tar.bz2 webdir
а затем перенести архив с помощью ftp или scp.
Вы также можете попробовать следующее, если у вас есть учетная запись FTP:
lftp USER:PASSWORD@FTPSERVER -e "mirror&&exit"