Я использую следующий код для загрузки списка файлов PDF:
wget -i list.txt -A .pdf
Некоторые PDF-файлы загружены правильно. Тем не менее, некоторые файлы PDF не загружаются должным образом. Когда я проверяю журнал, я вижу следующий отчет:
--2013-04-09 11:25:42-- http://amazon.com/111.pdf
Reusing existing connection to amazon.com:80.
HTTP request sent, awaiting response... 200 No headers, assuming HTTP/0.9
Length: unspecified
Saving to: `111.pdf'
[ <=> ] 1,045 --.-K/s in 2m 9s
2013-04-09 11:27:51 (8.11 B/s) - Read error at byte 1045 (Connection reset by peer).Retrying.
--2013-04-09 11:27:52-- (try: 2) http://amazon.com/111.pdf
Connecting to amazon.com (amazon.com)|00.00.55.888|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 2680728 (2.6M) [application/pdf]
Saving to: `111.pdf'
61% [==============================> ] 1,649,221 10.0K/s in 2m 41s
2013-04-09 11:30:41 (10.0 KB/s) - Read error at byte 1649221/2680728 (Connection reset by peer). Retrying.
--2013-04-09 11:30:43-- (try: 3) http://amazon.com/111.pdf
Connecting to amazon.com (amazon.com)|00.00.55.888|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 2680728 (2.6M) [application/pdf]
Saving to: `111.pdf'
100%[==================================================>] 2,680,728 10.1K/s in 4m 22s
2013-04-09 11:35:11 (10.0 KB/s) - `111.pdf' saved [2680728/2680728]
Интересно, почему я не могу открыть файл pdf 111.pdf? Приведенный выше отчет говорит, что он загружен на 100%. Это из-за сброса соединения пэром?
Интересно, можно ли поместить wget в цикл для каждого файла таким образом, чтобы он не выходил из цикла, пока загрузка не будет завершена без ошибок? Я нашел следующий цикл, однако он выдает ошибку. Код и ошибка показаны ниже:
Код:
while read -r link
do
wget -A .pdf
until [ $? = 0 ]
do
wget -A .pdf
done
done < ./list.txt
Ошибка:
Try `wget --help' for more options.
wget: missing URL
Usage: wget [OPTION]... [URL]...
Я использую Cygwin на Windows.
Пожалуйста, дайте мне знать, если у вас есть и другие предложения.
Спасибо за помощь.