![将网站移至新服务器 - 更新 DNS - 网络爬虫仍然通过 IP 访问旧网站](https://linux22.com/image/671331/%E5%B0%86%E7%BD%91%E7%AB%99%E7%A7%BB%E8%87%B3%E6%96%B0%E6%9C%8D%E5%8A%A1%E5%99%A8%20-%20%E6%9B%B4%E6%96%B0%20DNS%20-%20%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB%E4%BB%8D%E7%84%B6%E9%80%9A%E8%BF%87%20IP%20%E8%AE%BF%E9%97%AE%E6%97%A7%E7%BD%91%E7%AB%99.png)
大约十天前,我将一个网站(主要是 Joomla 论坛)移至了不同 IP 地址的新服务器。在短暂的计划停机期间,我复制了内容并像往常一样完成了 DNS 切换(通过 Cloudflare),大多数流量都随之而来 - 所有真实用户都可以从新位置访问该网站,并且似乎大多数网络爬虫请求都已完成。
但是,仍有网络爬虫试图通过旧 IP 访问我的网站。我的意思是,具体通过 IP 地址 - 尽管它们试图爬取现在存在于新服务器上的有效路径。这主要是 GoogleBot,但我也看到零星的 BingBot 或 Yahoo Slurp 条目。Apache 日志显示旧服务器上每分钟有 1-2 次访问。
然而,这三个机器人的大部分爬行工作都是在新服务器上进行的。
我已经从旧服务器中删除了内容,因此这些请求会遇到 404 错误。爬虫程序是否有通过服务器 IP 进行索引的惯例?
有没有办法让他们浏览新网站?我是否应该主动尝试使用自定义 HTTP 错误代码重定向他们?
答案1
这些爬虫的 DNS 缓存刷新可能需要很长时间,但 10 天对我来说似乎有点太长了。另一方面,你说他们通过 IP 访问你的网站,这肯定是错误的。老实说,这听起来更像是某个地方的链接不好,而且你的网络服务器没有将 IP 地址重定向到实际的 FQDN URL,然后爬虫继续浏览网站自己的相关链接(但这只是一种假设)。
我不会费心使用重定向,除非你打算长期运行这个旧服务器来做这件事。例如,我们在一年前就强制实施了 SSL(使用 301 重定向),但我们仍然通过纯 HTTP 收到大量请求。而且它们是指向特定资产(如下载)的直接链接,因此并不是他们在输入主地址时没有指定 https://。只要你继续提供服务,他们就会继续使用它。
如果这些相同的机器人也爬取你的新服务器,我真的不会介意。这是我的一点看法。