6

Мне нужно скачать все PDF-файлы, представленные на сайте. Проблема в том, что они не перечислены ни на одной странице, поэтому мне нужно что-то (программа? рамки?) сканировать сайт и скачивать файлы, или, по крайней мере, получить список файлов. Я попробовал WinHTTrack, но не смог заставить его работать. DownThemAll for Firefox не сканирует несколько страниц или целые сайты. Я знаю, что есть решение, так как я не мог быть первым человеком, которому представили эту проблему. Чтобы вы посоветовали?

4 ответа4

10

С http://www.go2linux.org/tips-and-tricks-of-wget-to-download-files:

wget -r -A pdf http://www.site.com
3

У Google есть возможность вернуть только файлы определенного типа. Объедините это с опцией "site", и у вас будет свой "сканер".

Пример: http://www.google.com/search?q=site:soliddocuments.com+filetype:pdf

2

Используйте некоторую библиотеку для веб-сканирования, например. в рубине http://www.example-code.com/ruby/spider_begin.asp

0

Если ссылки на файлы PDF отсутствуют, сканер не поможет, и у вас есть только два варианта:

  1. Получить список откуда-то еще (запросите список у веб-мастера сайта)
  2. Получить список из списка каталогов WebSite. Хотя, если они отключили эту опцию на своем веб-сервере, вы не сможете ее использовать.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .