Не только сайт и контент, я хочу локально воспроизводить вызовы скриптов и т.д. Я пробовал HTTracker и wget, но это не работает.

В качестве примера возьмем donjon.bin.sh

2 ответа2

4

Невозможно использовать HTTP для загрузки всего веб-сайта, если какая-то его часть не является статичной, например, созданной серверными сценариями или программами.

Обычно вам потребуется учетная запись администратора и обычно для передачи сайта используется другой протокол, например FTP. Кроме того, вам понадобятся некоторые средства для извлечения содержимого любых используемых баз данных.

0

У вас будут проблемы, если вы пытаетесь загрузить веб-серверы, которые не на 100% работают на стороне клиента. Если на сайте используется какой-либо сценарий на стороне сервера (ruby, python, php, asp и т.д.), Вы сможете загружать только то, что было обработано, а не фактические исходные файлы, которые генерировали содержимое на стороне клиента.

Поисковыми терминами, которые вы можете исследовать, является веб-сканирование. Например, Google использует сканер для кэширования данных с веб-сайтов. Часто, если веб-сайт исчезает или закрывается, вы можете просмотреть кэш Google в последний раз, когда на нем были данные. Полезно для некоторых старых контентных сайтов, которые больше не существуют.

http://en.wikipedia.org/wiki/Web_crawler

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .