Как создать список страниц, на которые ссылаются из списка, который распределен по многим страницам

Question

У меня есть веб-страница, которая в основном состоит из списка ссылок на другие страницы. Используя wget, я хотел бы скачать все перечисленные страницы.

Используя "wget -r -l1 URL", я в основном получаю то, что хочу.

Но как сделать то же самое, если список разделен на несколько страниц (URL-адреса заканчиваются на "?"страница = 3 ","?страница = 4" ....).

Answer 1

Если вы знаете количество страниц, вы можете использовать цикл for:

for i in {1..5}; do wget -r -l1 URL?page=$i; done