为什么使用 Chrome 导航到我托管的服务器会自动检查 robots.txt？

Question

我正在使用 pythonhttp.server来提供目录，在 python 日志中我注意到每次我打开页面时，它也会向 发送一个 GET 请求http://<my_ip>:<the_port>/robots.txt?162939582。

怎么回事？我认为这是为了 Google 的数据收集，我可以禁用它吗？

Answer 1

原来我的一个 chrome 扩展程序出现了这个问题。我禁用了所有扩展程序，然后重新启用它们，直到找到导致问题的扩展程序。