wget(或 curl)论坛主题的全部内容?

wget(或 curl)论坛主题的全部内容?

我尝试访问的论坛主题的 URL 格式如下

http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1

我试过了

wget --user-agent=Mozilla/5.0 -k -m -E -p -np -Rhttp://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=1

但我运气不佳。

答案1

为什么不直接在 for 循环中:

for pageno in {1..1000000}; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno || break
done

或者也许 while 循环更好,但是写起来会稍微长一些:

i=1
while true; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno
    if test $? -ne 0; then
        break
    fi
    i=$((i+1))
done

答案2

可能值得检查一下论坛是否支持部分/主题的 RSS 源。这样可以省去您的麻烦。

相关内容