Wget игнорирует видео файлы

Question

Мой друг разместил кучу mkv-файлов на общедоступном сервере, как я могу загрузить их все одной командой wget?

я пытался

wget -r [path]

который просто захватывает индексный файл robots.txt и пропускает mkvs. Я тоже пробовал

wget -r -A.mkv

Если я пытаюсь получить отдельный файл напрямую, он работает нормально, что я здесь делаю не так? Страница man очень длинная, поэтому, возможно, я просто пропустил соответствующую опцию, и в этом случае я прошу прощения.

Answer 1

Мое предположение: ваш ответ здесь: http://www.robotstxt.org/

Страница man для wget имеет обходной путь, но игнорировать robots.txt нехорошо, поэтому я не рекомендую его (вы можете посмотреть его самостоятельно). Вы можете проверить, является ли это реальной проблемой, просмотрев текст

curl http://somedomain.com/robots.txt