Cronjob 访问列表的每个 URL 但不保存它们

Cronjob 访问列表的每个 URL 但不保存它们

我有一个 txt 文件 list.txt,里面有很多 URL,每行一个。我想设置一个 cron 任务,每天用 wget/curl 获取文件的每个 URL 一次,但不将它们保存在计算机中。

我首先尝试在终端上运行它。

wget -i /root/list.txt -O /dev/null

可以理解的是,该命令无法正常工作。它将 list.txt 保存到 /dev/null,而不是 list.txt 中的 url 文件。然后它显示“未找到 url”。

那么我该如何正确操作呢?从列表中获取每个 URL,但不在计算机上保存任何内容?

答案1

如果您不想下载 URL,请使用 来抑制它--spider。您可以使用 来消除混乱-q,这还有额外的好处,如果设置正确,实际错误仍然由 crond 处理并转发。

wget -i /root/list.txt --spider -q

答案2

不确定为什么您在这里使用 wget,因为该工具的主要目的是下载文件。

使用 curl 和一个简单的循环,它应该可以工作,如下所示:

for i in `cat list.txt`; do curl $i; done

并且不会下载任何内容,只是点击文本列表中的目标网站。

相关内容