Я использую следующий код для загрузки «example1.com» с Windows. Однако этот код ограничен только одним URL.
Можно ли импортировать текстовый файл, который содержит несколько URL?
wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp http://example1.com
Я нашел самый простой способ: у wget есть команда для импорта ссылок из текстового файла.
wget -i mylist.txt
Вы можете сделать это с помощью bash, установщик Windows можно найти здесь (когда запрашивается установка компонентов, выберите только MSYS), в Linux вы, вероятно, используете его как интерпретатор командной строки по умолчанию, поэтому вы просто запускаете консольный эмулятор и готовы к работе. , Чтобы запустить его в Windows, откройте C:\MinGW\msys\1.0\msys.bat .
Допустим, ваша база данных URL называется db.txt и каждый адрес находится в отдельной строке, без пробелов. Тогда команда для запуска wget для каждого адреса будет:
for line in `cat db.txt`; do wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp $line; done
Обратите внимание, что я использовал символы ударения (те, что слева от кнопки 1 ), а не апострофы. Перед выполнением этой команды вы должны изменить каталог на папку, где находится файл:
cd /home/YourUsername