☰

如何使用 wget 从同一站点上的不同 URL 下载文件列表并将文件存储在与 URL 相同的文件夹结构中？

tag-icon • tag-icon linux wget
如何使用 wget 从同一站点上的不同 URL 下载文件列表并将文件存储在与 URL 相同的文件夹结构中？

我有一个需要在同一站点的不同 URL 上下载的文件列表。

使用命令：

wget --http-user:[email protected] --http-password:password -i download.txt

文件已下载到当前本地路径，但我想创建文件来源的结构。

download.txt 文件包含我想要下载的文件的完整路径：

  • http://site1.domain.name/URL1/XX1/XXX1/filename1.xxx
  • http://site1.domain.name/URL2/XX2/XXX2/filename2.xxx
  • http://site1.domain.name/URL2/XX 3/XX X3/file name 3.xxx
  • 等等

有没有办法用 wget 和某种脚本来做到这一点？（这将创建文件来源的结构）

该网站托管在 Windows Server IIS/SharePoint 2003 场中。因此，我下载的文件无法通过网站上的文件系统访问，只能通过 URL 访问。

（注意：我尝试了 Httrack，它将使用文件（运行几天）来处理整个网站结构，但无论我怎么尝试……当我尝试仅下载 download.txt 中的文件时，会出现 401 未授权的错误）

答案1

wget --http-user:[email protected] --http-password:password -i download.txt -x

相关内容