Скачивание большого сайта с помощью wget

Question

Я пытаюсь отразить очень большой сайт, но кажется, что wget никогда не заканчивается должным образом. Я использую команду:

wget -r -l inf -nc -w 0.5 {the-site}

Я скачал хорошую часть сайта, но не все. Содержание не изменяется достаточно быстро, чтобы использовать метки времени.

После запуска в течение ночи, это сообщение появляется:

File `{filename}.html' already there; not retrieving.
File `{filename}.html' already there; not retrieving.
File `{filename}.html' already there; not retrieving.
File `{filename}.html' already there; not retrieving.
Killed

Кто-нибудь знает, что происходит и как я могу это исправить?

Answer 1

Вы пытались использовать опцию -m?
это короткий путь для,

-N -r -l inf --no-remove-list

Вы также можете специально поэкспериментировать с сайтом, используя более глубокий URL для ограниченного набора файлов, и избежать выборки родительских путей с помощью:

-np