1

У меня есть список URL-адресов (почти все изображения URL, хотя некоторые PDF), которые мне нужно скачать. Я нашел множество вариантов массовой загрузки, и они будут работать, но мне нужно, чтобы они были упорядочены по каталогу, указанному в URL-адресе. Например:

samplesite.com/sample1/image1.jpg
samplesite.com/sample1/image2.jpg
samplesite.com/sample1/image3.jpg
samplesite.com/sample2/image1.jpg
samplesite.com/sample2/image2.jpg
samplesite.com/sample2/image3.jpg

Я должен быть организован так:

Папка Sample1
image1.jpg
image2.jpg
image3.jpg
Папка Sample2
image1.jpg
image2.jpg
image3.jpg

У меня есть доступ к SFTP, но каждый каталог ужасно организован и имеет файлы изображений, смешанные с другими ненужными файлами. Кроме того, у большинства пакетных сценариев, которые я пытался создать, были проблемы. Когда я делал xCopy не было никакого способа выяснить, какие файлы не удалось, а когда я сделал robocopy скорость была скомпрометирована. Любые предложения о том, как мне двигаться дальше? Существующее программное обеспечение предпочтительнее, но я согласен с советами о том, как мне написать это. Я предпочитаю не устанавливать что-либо для доступа к SFTP через командную строку, но если это единственный вариант, то он такой.

1 ответ1

0

Я думаю, что wget может сделать это с некоторыми опциями. Пожалуйста, попробуйте wget -input-file=urls.txt --force-directories

Из руководства wget:

--input-файл = файл
Чтение URL-адресов из локального или внешнего файла. Если в качестве файла указано «-», URL считываются из стандартного ввода. (Используйте «./-» для чтения из файла с буквальным названием «-».)

а также

--force-каталоги
Противоположность '-nd' - создать иерархию каталогов, даже если бы не было создано иначе. Например, 'wget -x http://fly.srk.fer.hr/robots.txt ' сохранит загруженный файл в файл fly.srk.fer.hr/robots.txt.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .