![监控 1000 多个网站的变化一个月](https://linux22.com/image/1566344/%E7%9B%91%E6%8E%A7%201000%20%E5%A4%9A%E4%B8%AA%E7%BD%91%E7%AB%99%E7%9A%84%E5%8F%98%E5%8C%96%E4%B8%80%E4%B8%AA%E6%9C%88%20.png)
我需要监控 1000 多个特定链接大约一个月,以查看其内容是否发生变化,我想知道我是否可以以某种方式自动执行此操作。一个想法是简单地在一个月内不时下载这些网站,然后比较源文件。如果我走这条路,你们知道有什么工具(浏览器扩展?)可以让这样的下载变得简单吗?我试过 HTTrack,但在前 100 个链接左右后就失败了。或者,可以监控一组网站的(免费?)网络服务也可能有效。我使用过https://visualping.io/但它实际上并不适用于数千个链接。
答案1
我想知道我是否可以以某种方式实现这一自动化。
几乎没有必要,但你可以编写一些简单的脚本。
你们知道有什么工具可以轻松进行这样的下载吗?
获得、卷曲等
您可以将 1000 个特定 URL 放入文本文件中,创建两个目录,进入第一个目录,然后使用wget
带有-i
读取 URL 列表选项的工具(例如)获取它们。一个月后在第二个目录中重复此操作,使用差异例如diff -r /directory1 /directory2
查找任何变化。
使用递归选项时要小心,它们可能会使服务器不堪重负并导致您被禁止或使您的计算机超载。
我会先尝试一小组 URL(例如 2 个,然后 10 个,然后 1000 个)
成本较低的选择可能是使用 HTTP HEAD 请求并相信服务器知道资源是否已被更改。