Возможный дубликат:
Как я могу скачать весь сайт
Будет ли у кого-нибудь рекомендация для сканера веб-сайта, который может быть вызван и оснащен настройками из командной строки?
Это должно быть выполнено в среде Windows.
Сохранение данных, ссылки на таблицы стилей и т.д. Не являются проблемой. Мне нужен только сканер, чтобы начать со страницы, проанализировать ее и перейти по всем ссылкам в одном домене, чтобы в итоге все страницы сайта были запрошены один раз.
Справочная информация: я настраиваю веб-сайт, который часто загружается из офиса. Объединяя данные из разных источников, он имеет несколько уровней кэширования. Я не хочу, чтобы первый пользователь посетил сайт после новой загрузки, чтобы ждать, пока страница не будет сгенерирована и сохранена в кеше.