我有一个 txt 文件 list.txt,里面有很多 URL,每行一个。我想设置一个 cron 任务,每天用 wget/curl 获取文件的每个 URL 一次,但不将它们保存在计算机中。
我首先尝试在终端上运行它。
wget -i /root/list.txt -O /dev/null
可以理解的是,该命令无法正常工作。它将 list.txt 保存到 /dev/null,而不是 list.txt 中的 url 文件。然后它显示“未找到 url”。
那么我该如何正确操作呢?从列表中获取每个 URL,但不在计算机上保存任何内容?
答案1
如果您不想下载 URL,请使用 来抑制它--spider
。您可以使用 来消除混乱-q
,这还有额外的好处,如果设置正确,实际错误仍然由 crond 处理并转发。
wget -i /root/list.txt --spider -q
答案2
不确定为什么您在这里使用 wget,因为该工具的主要目的是下载文件。
使用 curl 和一个简单的循环,它应该可以工作,如下所示:
for i in `cat list.txt`; do curl $i; done
并且不会下载任何内容,只是点击文本列表中的目标网站。