我正在尝试从某个网站开始爬取互联网并获取已访问的 URL 列表。这是我目前得到的结果:
wget --spider -r --no-verbose -o out.txt <url>
问题在于,它会在磁盘上创建所访问网站的文件夹结构。我不想下载任何文件或在磁盘上创建文件夹。我该如何实现?
答案1
尝试-nd
或--no-directories
选项。
答案2
也许不是您完全想要的,但该--delete-after
选项可能适合您。
我正在尝试从某个网站开始爬取互联网并获取已访问的 URL 列表。这是我目前得到的结果:
wget --spider -r --no-verbose -o out.txt <url>
问题在于,它会在磁盘上创建所访问网站的文件夹结构。我不想下载任何文件或在磁盘上创建文件夹。我该如何实现?
尝试-nd
或--no-directories
选项。
也许不是您完全想要的,但该--delete-after
选项可能适合您。