У меня есть несколько текстовых файлов, которые я хочу взять с веб-сервера в школе и сохранить их на своем локальном компьютере с помощью интерфейса командной строки. Это не домашняя проблема, просто я пытаюсь сделать что-то утомительное эффективным способом. Итак, у меня есть две вещи, которые я пытаюсь сделать:

  1. Рекурсивно перебирать каталог на веб-сервере в поисках какого-нибудь текстового файла. Я не уверен, что смогу сделать это прямо из командной строки без написания небольшого пользовательского приложения, но любые идеи будут оценены.

  2. Скопируйте текстовый файл и сохраните на моем локальном диске. Я нашел эту ссылку, но я не смог выяснить, как отследить ее в файл или сохранить ее локально.

|источник

3 ответа3

5

Wget - хороший инструмент, который может рекурсивно захватывать файлы с веб-сервера.

  wget -r 'http://url/'
|источник
2

Для загрузки файлов из командной строки в Linux есть два основных инструмента.

  1. Wget

Важно, что делает файл интересным для вас, чтобы получить его.

Если что-то связано с его путем или именем, все проще, и вы можете обойтись, просто «сканируя» сайт.

Но если вам нужно получить файл, потому что он содержит что-то интересное, для чего вы будете искать его содержимое (а у вас нет для этого индексации - например, поиск в Google), то вам нужно будет получить каждый файл и проверить это для соответствия вашим интересам, чтобы сохранить или удалить (локальная копия).

|источник
0

Простой способ рекурсивной загрузки веб-страницы.

wget -r -p -k -c -np URL

скажем, если вы хотите пропустить файлы zip, tar.gz и rar

wget -r -p -k -c -np -R zip,gz,rar URL

или вы можете использовать httrack, который имеет GUI (нативный и веб-интерфейс) для настройки (например, правила фильтрации).

|источник

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .