从同一 IP 重复下载文件 - 建议？

Question

我有几个文件可以从我的网站上下载。每隔几个小时，所有文件都会从同一个 IP 地址（98.137.207.97 - 可能是 Yahoo？）下载。我该怎么做？我应该屏蔽 IP（并希望下载不会被其他 IP 占用）还是有更好的方法来处理这个问题？

Answer 1

你应该创建一个机器人.txt如果您不希望机器人/蜘蛛等抓取您网站的某些部分，请保存此文件。