访问域上的所有链接(无可用的超链接)

访问域上的所有链接(无可用的超链接)

我需要访问所有链接,例如:

http://www.thewebsitename.com/random_alphanumeric_code1.asp

http://www.thewebsitename.com/random_alphanumeric_code2.asp

对于给定的网站等:http://www.thewebsitename.com

(当然,http://www.thewebsitename.com

该网站不会限制访问我想要的链接,因为他们会在互联网上发布链接到这些网页的广告。我只需跟踪所有此类链接,而不必在整个互联网上漫游寻找他们的广告来获取这些链接。

是否有可能做到这一点?

相关内容