![从 sitemap.xml 卷曲?](https://linux22.com/image/139067/%E4%BB%8E%20sitemap.xml%20%E5%8D%B7%E6%9B%B2%EF%BC%9F.png)
我想卷曲一个 URL 列表(即定义在https://example.com/sitemap.xml
我最接近这个目标的是
xargs curl --referer https://mywebsite.ca --user-agent "It me yo" < listofurls.txt > /dev/null
它工作得很好,而且可以访问我需要的 URL,但似乎无法使用本地文件以外的任何内容。我还想利用一个已经存在并保持自身维护的列表(sitemap.xml)。
我想卷曲一个 URL 列表(即定义在https://example.com/sitemap.xml
我最接近这个目标的是
xargs curl --referer https://mywebsite.ca --user-agent "It me yo" < listofurls.txt > /dev/null
它工作得很好,而且可以访问我需要的 URL,但似乎无法使用本地文件以外的任何内容。我还想利用一个已经存在并保持自身维护的列表(sitemap.xml)。