9

Укороченная версия:

  • Я хотел бы получить автономную копию URL-адреса, которая включает в себя полные изображения HTML+CSS+JS+ и сохраняет их локально, сохраняя структуру и содержимое файла исходного сайта.
  • У меня проблемы с инструментами, которые я могу найти (например, "Сохранить завершено", расширение Firefox, HTTrack, wget, Teleport Pro) отчасти потому, что URL находится за формой входа.

Более длинная версия:

Когда я работаю над своим приложением, я часто хочу получить полную автономную версию изображений HTML+CSS+JS+ для отправки разработчику, с которым я работаю, который вносит изменения и отправляет их обратно. Затем я применяю изменения к приложению.

Оказалось, что это гораздо эффективнее, чем когда он / она перемещается по нашему коду с помощью живого приложения, но есть одна загвоздка - я не могу найти удобное приложение для зеркалирования.

Расширения Firefox, такие как "Сохранить завершено", уже имеют cookie для входа в систему, поэтому не волнуйтесь, что они находятся за формой входа в систему, но они искажают локально сохраненные файлы, делая невозможным работу с ними.

Инструменты зеркалирования, такие как wget или Teleport Pro, не поддерживают нашу форму входа.

Хотя HTTrack должен быть в состоянии работать в режиме прокси для обнаружения информации о входе в систему, но я так и не смог заставить ее работать. В качестве запасного варианта он может принимать файлы cookie, которые я жестко подключил к его файлу cookies.txt, но мне всегда требуется несколько часов, чтобы сделать это надежно.

Какие-нибудь инструменты, расширения браузера и т.д., Которые могли бы сделать это? Открытый исходный код, коммерческий - все что угодно. Если я неправильно использовал HTTrack и это на самом деле тривиально - это тоже отличный ответ.

4 ответа4

7

С HTTrack вы можете использовать файл cookies.txt при загрузке. Я использовал это, чтобы успешно отразить сайт Moodle.

5

Я сделал это успешно с WinHTTrack. Вы можете следовать обычной процедуре захвата веб-сайта с двумя незначительными изменениями настроек:

  1. В Chrome откройте Dev Tools, затем войдите на веб-сайт, который вам нужен. На вкладке "Сеть" щелкните HTML-страницу, которую вы запросили, чтобы найти файл cookie сеанса (имя этого файла будет отличаться в зависимости от используемой серверной инфраструктуры). Поместите это в HTTrack в разделе "Дополнительные заголовки HTTP".

  2. Также убедитесь, что ваша строка агента пользователя совпадает, так как иногда сеансы блокируются, если строка агента пользователя изменяется.

    Сессионный cookie-вход в HTTrack

  3. Начните скачивать сайт. Результат должен быть таким, как будто вы вошли в систему.

3

Вы пробовали Offline Explorer ?

Я помню что-то подобное, что позволит вам войти в систему, сохраняя куки для последующих запросов и сделает все остальное. Не уверен на 100%, поскольку я использовал это давным-давно.

2

Teleport Pro позволяет использовать логин и пароль.

Когда вы запустите Мастер создания нового проекта, вы придете к тому моменту, когда он предоставит вам эту опцию (я думаю, что он находится на третьем экране опций).

И даже если вы пропустите это, вы можете снова получить доступ к этой опции.

В главном окне (после того, как вы пройдете через Мастер проектов) щелкните правой кнопкой мыши ваш проект (маленькая иконка папки, отображающая URL-адрес, который вы пытаетесь загрузить, на левой панели) и выберите последнюю опцию Starting Address Properties и вы увидите экран параметров, где вы можете указать логин и пароль пользователя, которые будут использоваться на этом сайте.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .