Я гуглил по этому поводу, но не смог найти пример того, как использовать, например. wget для загрузки структуры каталогов сайта без загрузки каких-либо его файлов.
На данный момент мне просто нужно понять, как организован сайт. Я буду зеркально отражать сайт позже.
В командной строке введите:
wget -r --spider www.your-website.com
Альтернативная команда с возможностью указать максимальную глубину уровня глубины.
wget -r --spider -l depth www.your-website.com
Опции рекурсивного поиска:
-r
--recursive
Turn on recursive retrieving. The default maximum depth is 5.
--spider
Don't download anything
-l depth
--level=depth
Specify recursion maximum depth level depth.