我的 http 服务器收到奇怪的请求

Question

与其他问题不同，这些外部请求不是试图探测潜在弱点的二进制请求（我不这么认为）。当我的 http.server（使用 运行python -m http.server）显示对 URL 的奇怪请求时，我正茫然地半睡半醒。首先是澳大利亚 Telstra Telecom 请求HTTP/1.1，几分钟后中国天津电信请求http://www.baidu.com/ HTTP/1.1。他们是不是想扫描我，以防我非法托管东西，还是什么？

Answer 1

有许多网站会扫描 Web 服务器的 IP 地址，或者只是扫描开放端口。端口扫描程序可能会尝试验证端口上的协议。其中大多数都没有恶意。扫描在 IPv4 上有效，但在 IPv6 上效果不佳。

百度、雅虎、谷歌和一大批其他搜索网站可能会扫描您的网站。他们只是试图为他们的搜索引擎索引您的网站。其中许多网站在用户代理字符串中提供了一个以加号 (+) 开头的链接，您可以在其中找到有关他们的扫描的更多信息。

行为良好的扫描仪将仅对您公开的（或过去公开过的）链接使用 GET 请求。（不允许 GET 请求更改您网站的状态。）它们还将遵循您robots.txt网站根目录中的文件提供的任何限制（http://example.com/robots.txt）该文件有有据可查的格式。