`нет такого файла или каталога` при зеркалировании с помощью wget

Question

Я пытаюсь сохранить локальную версию документации clojure с помощью команды wget :

wget --user-agent=firefox --ignore-length -c -km 
"http://clojuredocs.org/quickref/Clojure Core"`

но продолжайте получать no such file or directory когда он достигает некоторых ссылок, таких как http://clojuredocs.org/clojure_core/clojure.core/rem, которые, очевидно, существуют, потому что вы можете получить их с помощью браузера. Я предполагаю, что это проблема с тем, как wget строит / объединяет путь. Как вы это исправите? , Я пробовал другие варианты, такие как --user-agent и --ignore-length но продолжаю получать те же результаты, что и на рисунке ниже (вам нужно открыть изображение, чтобы правильно увидеть сообщения).

Это похоже на проблему с зеркалированием, потому что команда:

wget http://clojuredocs.org/clojure_core/clojure.core/rem

работает хорошо.

Answer 1

Ваша проблема возникает из-за поведения wget для сохранения URL-адреса http://clojuredocs.org/clojure_core в файл с именем ./clojuredocs.org/clojure_core , но с URL-адресом http://clojuredocs.org/clojure_core/ (обратите внимание на конечный косая черта) в файл с именем ./clojuredocs.org/clojure_core/index.html .

После создания файла ./clojuredocs.org/clojure_core следующие загрузки, например, http://clojuredocs.org/clojure_core/something , обречены на неудачу, поскольку wget больше не может создавать каталог ./clojuredocs.org/clojure_core .

Об этом сообщалось как об ошибке # 29647 в GNU Wget Bugtracker.

С предоставленным патчем (который явно не вошел в официальный исходный код) эта проблема исчезает, и wget вынужден сначала создать каталог. Итак, загрузка может продолжаться.

Однако http://clojuredocs.org/clojure_core сохраняется как ./clojuredocs.org/clojure_core.1 , а не как ./clojuredocs.org/clojure_core/index.html .

Я не могу судить, достаточно ли умен конвертер ссылок (-k), чтобы ссылки в этой зеркальной локальной копии работали ... Я остановил загрузку через несколько минут. (Я слишком нетерпелив ;))