我发现 McAfee SiteAdvisor 已将我的网站报告为“可能存在安全问题”。
我不太在意 McAfee 对我的网站有何看法（我可以自己保护网站，如果不能，McAfee 绝对不是我会寻求帮助的公司，非常感谢）。但让我困扰的是，他们显然未经我的许可就抓取了我的网站。
澄清一下：我的网站上几乎没有内容，只有一些占位符和一些供我个人使用的文件。没有服务条款。
我的问题是：McAffee 是否有权从我的网站下载内容/抓取内容？我可以禁止他们这样做吗？我觉得应该有某种“我的城堡，我的规则”原则，但我基本上对所有法律问题一无所知。
更新：我可能应该提到我的服务器提供商定期向我发送有关 SiteAdvisor 调查结果的电子邮件 - 这就是我了解他们的“评级”的方式，这就是我感到恼火的原因。
答案1
有法律先例。Field v. Google Inc.，412 F. Supp. 2d 1106，（美国内华达州地方法院，2006 年）。Google 基于多项因素赢得了简易判决，其中最值得注意的是，作者未在其网站的元标记中使用 robots.txt 文件，该文件可防止 Google 抓取和缓存网站所有者不想被索引的页面。
美国没有专门针对 robots.txt 文件的法律；但是，另一起法庭案件开创了一些先例，最终可能导致 robots.txt 文件被视为规避为保护内容而采取的有意电子措施。在 HEALTHCARE ADVOCATES, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY, et. al 案中，Healthcare Advocates 辩称，Harding 等人本质上是破解了 Wayback Machine 的功能，以便访问带有 robots.txt 文件的新版本的页面的缓存文件。虽然 Healthcare Advocates 败诉了，但地方法院指出，问题不在于 Harding 等人“撬锁”，而在于他们之所以能够访问这些文件，是因为 Wayback Machine 的服务器负载问题，导致 Wayback Machine 授予了访问缓存文件的权限，而这在它不应该授予访问权限时是允许的，因此“无锁可撬”。
我认为，这只是时间问题，直到有人接受这项裁决并改变其立场：法院指出 robots.txt是防止爬行和绕过的锁是 撬锁。
不幸的是，许多此类诉讼并不像“我试图告诉您的爬虫程序这是不允许的，但您的爬虫程序忽略了这些设置/命令”那么简单。所有这些案件中还有许多其他问题最终会影响结果，而不仅仅是 robots.txt 文件是否应被视为美国 DCMA 法律下的电子保护方法这一核心问题。
话虽如此，这是美国法律，中国人可以为所欲为——不是因为法律问题，而是因为中国不会执行美国商标和版权保护，所以祝你好运。
这不是一个简短的答案，但是对于您的问题确实没有一个简短、简单的答案！
答案2
是的，他们有权这样做——你已经创建了一个公共网站，你怎么认为他们没有这样做呢？
当然，你也有权阻止他们。你可以要求他们不要使用robots.txt或者主动阻止他们访问它，例如失败2ban。
或者，不要担心，继续你的生活。这不会造成任何伤害，而且绝对是互联网探测的良性一面。
答案3
这种行为是否合乎道德目前还不十分清楚。
抓取公共网站的行为本身并不违反道德（除非您使用 robots.txt 或其他技术措施明确禁止此行为，而他们却在规避这些措施）。
他们的做法大致相当于主动给你打电话，同时向全世界宣布你可能不安全。如果这损害了你的声誉并且没有道理，那就是不道德的；如果这样做的唯一解决办法是让你付钱，那就是敲诈勒索。但我不认为这是正在发生的事情。
另一种不道德的情况是，有人抓取你的网站，盗用你的内容或数据，然后声称这是他们自己的。但事实并非如此。
因此，我认为在这种情况下他们的行为是合乎道德的，而且你也很可能忽略它。
如果您与他们没有关系并且没有请求电子邮件，那么他们向您发送垃圾邮件的相关行为是不道德的，但我怀疑他们有一个有效的退订功能。
答案4
阻止某些人或公司访问您的网站的技术方法：
您可以阻止特定 IP 地址或地址范围访问您网站的页面。这在 .htaccess 文件中（如果您的网站在 Apache Web 服务器上运行）。
http://www.htaccess-guide.com/deny-visitors-by-ip-address/
让您的 Web 服务器记录访问它的 IP 地址，并查找这些 IP 地址，以查找与 McAfee 相关的 IP 地址。如果您没有任何常客，现在可能很容易判断。
当然，他们以后可能会更改 IP 地址。不过，如果您查看找到的 IP 地址，看看谁拥有它们，您也许能够了解 McAfee 拥有的整个地址块，并将它们全部屏蔽。
这样做的法律依据：
“法院裁定网站所有者可以合法屏蔽部分用户”
（如果您的网站是个人网站，没有人会质疑您屏蔽某些用户的权利。但如果它是商业网站，那么双方都会有法律和道德方面的争论。您的企业越小，就越容易受到法律保护——而且其他人也越不会在意并抱怨。）
您也许还对“根据引荐来源拒绝访问者”感兴趣。
“如果您查看日志时发现流量意外增加，但实际文件请求却没有增加，则可能是有人窃取内容（例如 CSS 文件）或有人试图入侵您的网站（这可能只是意味着试图查找非公开内容）。”