Разрежьте вопрос на 2 части.
1. Взять все страницы из текстового файла.
Предположим, что для целевой страницы логины или учетные данные не требуются.
Запустите на компьютере с Linux, Unix или Cygwin в Windows в терминальной сессии.
wget -i your.txt
И затем для каждого загруженного файла, запустите
cat FILE | \
sed 's/href=/\nhref=/g' | \
grep href=\" | \
sed 's/.*href="//g;s/".*//g' >> out.txt
Если чего-то не хватает, запустите
sudo apt-get install coreutils wget grep sed
на Debian Linux, несмотря на то, что большинство систем поставляются с ними по умолчанию.
Если вы решите сделать это в сеансе Cygwin, не забудьте выбрать Core Utilities
, Wget
, grep
и sed
при установке.