Я пытаюсь отразить блог, например, www.example.com , с помощью wget .
Я использую wget со следующими параметрами (переменные оболочки подставляются правильно):
wget -m -p -H -k -E -np \
-w 1 \
--random-wait \
--restrict-file-names=windows \
-P $folder \
-Q${quota}m \
-t 3 \
--referer=$url \
-U 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.1.6) Gecko/20070802 SeaMonkey/1.1.4' \
-e robots=off \
-D $domains
-- $url
Блог содержит изображения, которые находятся на других доменах.
Несмотря на то, что я указал опцию -p (загрузка ресурсов связанной страницы), эти изображения не будут загружаться, если я не укажу каждый домен явно в опции -D .
Если я опущу опцию -D wget будет переходить по каждой ссылке за пределами www.example.com и загружать весь интернет.
Может ли wget просто перейти по каждой ссылке на сайте www.example.com и загрузить необходимые ресурсы каждой страницы, независимо от того, находятся ли они в одном домене или нет, без необходимости явного указания каждого домена?
