Как я могу скачать все страницы с сайта?
Любая платформа в порядке.
19 ответов
317
HTTRACK работает как чемпион по копированию содержимого всего сайта. Этот инструмент может даже захватить части, необходимые, чтобы веб-сайт с активным содержимым кода работал в автономном режиме. Я поражен тем, что он может воспроизводить в автономном режиме.
Эта программа сделает все, что от вас требуется.
Хорошей охоты!
253
Wget - это классический инструмент командной строки для решения подобных задач. Он поставляется с большинством систем Unix/Linux, и вы можете получить его и для Windows . На Mac Homebrew - это самый простой способ установить его (brew install wget).
Вы бы сделали что-то вроде:
wget -r --no-parent http://site.com/songs/
Для получения дополнительной информации см. Руководство по Wget и его примеры, например:
137
Используйте wget:
wget -m -p -E -k www.example.com
Варианты объяснил:
-m, --mirror Turns on recursion and time-stamping, sets infinite
recursion depth, and keeps FTP directory listings.
-p, --page-requisites Get all images, etc. needed to display HTML page.
-E, --adjust-extension Save HTML/CSS files with .html/.css extensions.
-k, --convert-links Make links in downloaded HTML point to local files.
8
Internet Download Manager имеет утилиту Site Grabber с множеством опций, которая позволяет вам полностью загрузить любой веб-сайт, какой вы хотите, так, как вы этого хотите.
Вы можете установить ограничение на размер загружаемых страниц / файлов.
Вы можете установить количество посещаемых филиалов.
Вы можете изменить поведение скриптов / всплывающих окон / дубликатов
Вы можете указать домен, только под этим доменом будут загружены все страницы / файлы, соответствующие требуемым настройкам.
Ссылки могут быть преобразованы в автономные ссылки для просмотра
У вас есть шаблоны, которые позволяют вам выбрать вышеуказанные настройки для вас
Однако программное обеспечение не является бесплатным - посмотрите, соответствует ли оно вашим потребностям, используйте ознакомительную версию.
8
Вы должны взглянуть на ScrapBook, расширение Firefox. Он имеет режим углубленного захвата.
7
itucks - это название программы!
5
Я расскажу об онлайн буферизации, которую используют браузеры ...
Обычно большинство браузеров используют кеш просмотра, чтобы некоторое время хранить файлы, которые вы загружаете с веб-сайта, чтобы вам не приходилось загружать статические изображения и контент снова и снова. Это может немного ускорить процесс при некоторых обстоятельствах. Вообще говоря, большинство кешей браузера ограничены фиксированным размером, и когда он достигает этого предела, он удаляет самые старые файлы в кеше.
Интернет-провайдеры, как правило, имеют кэширующие серверы, на которых хранятся копии часто используемых веб-сайтов, таких как ESPN и CNN. Это избавляет их от необходимости посещать эти сайты каждый раз, когда кто-то из их сети посещает их. Это может привести к значительной экономии в количестве дублированных запросов к внешним сайтам к провайдеру.
5
Мне нравится Offline Explorer.
Это условно-бесплатная программа, но она очень хорошая и простая в использовании.
4
Я не делал этого много лет, но есть еще несколько утилит там. Вы можете попробовать Web Snake. Я думаю, что использовал это много лет назад. Я сразу вспомнил имя, когда прочитал твой вопрос.
Я согласен со Стейси. Пожалуйста, не забивайте их сайт. Очень плохой.
4
WebZip также является хорошим продуктом.
3
Для Linux и OS X: я написал grab-site для архивирования целых сайтов в файлы WARC . Эти файлы WARC могут быть просмотрены или извлечены. grab-site позволяет вам контролировать, какие URL-адреса пропустить, используя регулярные выражения, и их можно изменить, когда выполняется сканирование. Это также идет с обширным набором значений по умолчанию для игнорирования нежелательных URL.
Существует веб-панель мониторинга слежения, а также дополнительные опции для пропуска видеоконтента или ответов определенного размера.
3
DownThemAll - это надстройка Firefox, которая загружает весь контент (например, аудио- или видеофайлы) для определенной веб-страницы одним щелчком мыши. Это не загружает весь сайт, но это может быть то, что вопрос искал.
3
Teleport Pro - это еще одно бесплатное решение, которое будет копировать все файлы из любой вашей целевой области (также есть платная версия, которая позволит вам загружать больше страниц контента).
3
Попробуйте BackStreet Browser.
Это бесплатный, мощный автономный браузер. Высокоскоростная многопоточная программа для загрузки и просмотра веб-сайтов. Делая несколько одновременных запросов к серверу, Браузер BackStreet может быстро загрузить весь веб-сайт или часть сайта, включая HTML, графику, Java-апплеты, звук и другие определяемые пользователем файлы, и сохраняет все файлы на жестком диске, либо в их собственном формате, или в виде сжатого файла ZIP и просмотра в автономном режиме.
1
Почтенный FreeDownloadManager.org также имеет эту функцию.
Free Download Manager имеет две формы в двух формах: Site Explorer и Site Spider:
Обозреватель сайта
Site Explorer позволяет просматривать структуру папок веб-сайта и легко загружать необходимые файлы или папки.
HTML Spider
Вы можете загрузить целые веб-страницы или даже целые веб-сайты с помощью HTML Spider. Инструмент можно настроить для загрузки файлов только с указанными расширениями.
Я считаю, что Site Explorer полезен для просмотра папок, которые нужно включить / исключить, прежде чем пытаться загрузить весь сайт, особенно когда на сайте скрывается целый форум, который вы, например, не хотите загружать.
0
Мощность wget
Хотя wget уже упоминался, этот ресурс и командная строка были настолько простыми, что я подумал, что это стоит упомянуть:wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/
-1
Загрузите HTTracker, он загрузит веб-сайты очень простыми шагами.
ссылка для скачивания:http://www.httrack.com/page/2/
видео, которое может помочь вам:https://www.youtube.com/watch?v=7IHIGf6lcL4
-3
Я считаю, что Google Chrome может сделать это на настольных устройствах, просто зайдите в меню браузера и нажмите Сохранить веб-страницу.
Также обратите внимание, что такие сервисы, как pocket, на самом деле не могут спасти веб-сайт и поэтому подвержены гниению ссылок.
И наконец, обратите внимание, что копирование содержимого сайта может нарушать авторские права, если это применимо.
-3
Firefox может делать это изначально (по крайней мере, FF 42). Просто используйте "Сохранить страницу"
Всё ещё ищете ответ? Посмотрите другие вопросы с метками download website web.
Связанные
9
Зеркально отразить блог с помощью wgetdiv>