wget-在robots关闭时下载子目录

Question

例如，我想下载这个的dir3http://example.com/dir1/dir2/dir3。 robot.txt 存在于http://example.com/dir1/

它正在为……工作

wget -e robots=off .... http://example.com/dir1/ 

但不工作，

wget -e robots=off .... http://example.com/dir1/dir2/dir3

当 robots=off 时可以下载子目录吗？

谢谢！