wget (или curl) все содержимое ветки форума?

Question

URL темы форума, к которой я пытаюсь получить доступ, находится в форме

http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1

я пробовал

wget --user-agent = Mozilla/5.0 -k -m -E -p -np -R http://domain/showthread.php?noseen = 0 & threadid = 3333333 & pagenumber = 1

и мне не повезло.

Answer 1

Почему бы не просто в цикле:

for pageno in {1..1000000}; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno || break
done

или, возможно, цикл while лучше, если написать немного дольше:

i=1
while true; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno
    if test $? -ne 0; then
        break
    fi
    i=$((i+1))
done

Answer 2

Возможно, стоит проверить, поддерживает ли форум RSS-каналы разделов / тем. Это спасло бы вас от беспокойства.