Schemer закрывается, и я пытаюсь сохранить текст, потому что на сайте много хороших идей. Я хотел бы получить текст из каждой ссылки, указанной на карте сайта.
Есть ли способ, которым я могу сделать это? HTTrack не работает так, как мне бы хотелось.
1 ответ
0
Wget - это классический инструмент командной строки для решения подобных задач. Он поставляется с большинством систем Unix/Linux, и вы можете получить его и для Windows.
Вы бы сделали что-то вроде:
wget -r --no-parent https://www.schemer.com/sitemap?lo=1
Для получения более подробной информации см. Руководство по Wget и его примеры, или посмотрите на них:
http://linuxreviews.org/quicktips/wget/
http://www.linuxjournal.com/content/downloading-entire-web-site-wget