☰

理解 wget -r 输出

tag-icon • tag-icon linux wget remote directory-listing recursive
理解 wget -r 输出

这是一个目录中 tree 命令的输出：

.
|-- asdf.txt
|-- asd.txt
|-- fabc
|   |-- fbca
|   `-- file1.txt
|-- fldr1
|-- fldr2
|   `-- index.html
|-- fldr3
|   |-- cap.txt
|   `-- f01
`-- out.txt

6 directories, 6 files

我在此目录中启动本地 http 服务器。接下来我运行以下命令：

wget -r -nv --spider --no-parent http://localhost:3000 -o -

...并得到以下输出：

2017-01-02 20:07:24 URL:http://localhost:3000/ [1580] -> "localhost:3000/index.html" [1]
http://localhost:3000/robots.txt:
2017-01-02 20:07:24 ERROR 404: Not Found.
2017-01-02 20:07:24 URL:http://localhost:3000/fabc/ [897] -> "localhost:3000/fabc/index.html" [1]
2017-01-02 20:07:24 URL:http://localhost:3000/fldr1/ [536] -> "localhost:3000/fldr1/index.html" [1]
2017-01-02 20:07:24 URL:http://localhost:3000/fldr2/ [0/0] -> "localhost:3000/fldr2/index.html" [1]
2017-01-02 20:07:24 URL:http://localhost:3000/fldr3/ [896] -> "localhost:3000/fldr3/index.html" [1]
2017-01-02 20:07:24 URL: http://localhost:3000/asd.txt 200 OK
unlink: No such file or directory
2017-01-02 20:07:24 URL: http://localhost:3000/asdf.txt 200 OK
unlink: No such file or directory
2017-01-02 20:07:24 URL: http://localhost:3000/out.txt 200 OK
unlink: No such file or directory
2017-01-02 20:07:24 URL:http://localhost:3000/fabc/fbca/ [548] -> "localhost:3000/fabc/fbca/index.html" [1]
2017-01-02 20:07:24 URL: http://localhost:3000/fabc/file1.txt 200 OK
unlink: No such file or directory
2017-01-02 20:07:24 URL:http://localhost:3000/fldr3/f01/ [548] -> "localhost:3000/fldr3/f01/index.html" [1]
2017-01-02 20:07:24 URL: http://localhost:3000/fldr3/cap.txt 200 OK
unlink: No such file or directory
Found no broken links.

FINISHED --2017-01-02 20:07:24--
Total wall clock time: 0.3s
Downloaded: 7 files, 4.9K in 0s (43.4 MB/s)
  1. wget 是否被设计为始终搜索index.html？我们可以禁用此功能吗？
  2. 1580、536、0/0 等这些数字是什么？
  3. 为什么这么说unlink: No such file or directory？

答案1

  1. 您可以尝试使用选项跳过文件--reject（也接受通配符）：

    wget --reject index.html

但是您不想这样做。当使用 wget 时-r，它需要以某种方式获取目录内的文件列表。因此，wget 要求 index.html 文件并解析内容，希望获取此目录中其他文件的路径。当文件夹中没有 index.html 文件时，Web 服务器通常会为 wget 生成它 - 此文件将包含目录列表。必须在 Web 服务器上启用此列表文件的创建 - 否则 wget 将收到 HTTP 404 回复并因递归下载而失败。

  1. 这是文件大小（以字节为单位）。
  2. 这意味着无法删除文件（可能是因为该文件最初没有被创建）。您是否对使用 wget 下载的目录具有写入权限？

编辑：--spider在使用和测试 wget 下载后--recursive ，我重现了您的取消链接错误。似乎 wget 使用响应的内容类型来确定文件是否可以包含指向其他资源的链接。如果内容类型测试失败且文件未下载，wget 仍将尝试删除临时文件，就像已下载文件一样（使用 重新运行 wget 时这一点很明显--debug。它将清楚地显示Removing file due to --spider in recursive_retrieve():）。我猜您发现了 wget 中的一个错误。

相关内容