Мне нужно скачать все PDF-файлы, представленные на сайте. Проблема в том, что они не перечислены ни на одной странице, поэтому мне нужно что-то (программа? рамки?) сканировать сайт и скачивать файлы, или, по крайней мере, получить список файлов. Я попробовал WinHTTrack, но не смог заставить его работать. DownThemAll for Firefox не сканирует несколько страниц или целые сайты. Я знаю, что есть решение, так как я не мог быть первым человеком, которому представили эту проблему. Чтобы вы посоветовали?
4 ответа
10
С http://www.go2linux.org/tips-and-tricks-of-wget-to-download-files:
wget -r -A pdf http://www.site.com
3
У Google есть возможность вернуть только файлы определенного типа. Объедините это с опцией "site", и у вас будет свой "сканер".
Пример: http://www.google.com/search?q=site:soliddocuments.com+filetype:pdf
2
Используйте некоторую библиотеку для веб-сканирования, например. в рубине http://www.example-code.com/ruby/spider_begin.asp
0
Если ссылки на файлы PDF отсутствуют, сканер не поможет, и у вас есть только два варианта:
- Получить список откуда-то еще (запросите список у веб-мастера сайта)
- Получить список из списка каталогов WebSite. Хотя, если они отключили эту опцию на своем веб-сервере, вы не сможете ее использовать.