我的一个朋友在公共服务器上放置了一堆 mkv 文件,我如何使用一个 wget 命令下载它们?
我努力了
wget -r [path]
它只是抓取索引文件 robots.txt 并跳过 mkvs。我也试过
wget -r -A.mkv
如果我尝试直接获取单个文件,它工作正常,我做错了什么?手册页很长,所以可能我只是跳过了相关选项,在这种情况下,我道歉。
答案1
我的猜测:你的答案在这里:http://www.robotstxt.org/
wget 的手册页有一个解决方法,但忽略 robots.txt 并不是一件好事,所以我不推荐这样做(你可以自己查找)。你可以通过查看文本来验证这是否是实际问题
curl http://somedomain.com/robots.txt