我需要访问所有链接,例如:
http://www.thewebsitename.com/random_alphanumeric_code1.asp
http://www.thewebsitename.com/random_alphanumeric_code2.asp
对于给定的网站等:http://www.thewebsitename.com
(当然,http://www.thewebsitename.com)
该网站不会限制访问我想要的链接,因为他们会在互联网上发布链接到这些网页的广告。我只需跟踪所有此类链接,而不必在整个互联网上漫游寻找他们的广告来获取这些链接。
是否有可能做到这一点?