我需要监控 1000 多个特定链接大约一个月，以查看其内容是否发生变化，我想知道我是否可以以某种方式自动执行此操作。一个想法是简单地在一个月内不时下载这些网站，然后比较源文件。如果我走这条路，你们知道有什么工具（浏览器扩展？）可以让这样的下载变得简单吗？我试过 HTTrack，但在前 100 个链接左右后就失败了。或者，可以监控一组网站的（免费？）网络服务也可能有效。我使用过https://visualping.io/但它实际上并不适用于数千个链接。
答案1
我想知道我是否可以以某种方式实现这一自动化。
几乎没有必要，但你可以编写一些简单的脚本。
你们知道有什么工具可以轻松进行这样的下载吗？
获得、卷曲等
您可以将 1000 个特定 URL 放入文本文件中，创建两个目录，进入第一个目录，然后使用wget带有-i读取 URL 列表选项的工具（例如）获取它们。一个月后在第二个目录中重复此操作，使用差异例如diff -r /directory1 /directory2查找任何变化。
使用递归选项时要小心，它们可能会使服务器不堪重负并导致您被禁止或使您的计算机超载。
我会先尝试一小组 URL（例如 2 个，然后 10 个，然后 1000 个）
成本较低的选择可能是使用 HTTP HEAD 请求并相信服务器知道资源是否已被更改。