curl
似乎可以正常获取一些 URL,而其他 URL 则被阻止,并显示一个响应,表明需要身份验证并且缺少有效的 cookie。
我可以在 Chrome 中下载相同的 URL。Chrome 中没有配置代理。
答案1
从我最近几分钟浏览 StackOverflow 的经验来看,有几种方法可以尝试检查某人是否在使用 curl 而不是浏览器。常用方法包括检查“浏览器”是否支持 javascript、检查用户代理以及查找缺失的请求字段。
我尝试使用 curl 来访问http://yahoo.com返回的是“马上回来...”网页。但是,我随后使用 wget 和从 Firefox 借用的用户代理,得到了常规网页。尝试使用 wget 看看是否有区别。