为什么我的 Squid 代理设置会不断触发类似 Cloudflare 的 CAPTCHA 的垃圾邮件机器人保护?

为什么我的 Squid 代理设置会不断触发类似 Cloudflare 的 CAPTCHA 的垃圾邮件机器人保护?

我在家里运行一个代理服务器设置,旨在限制对某些网站的访问,我发现这些网站会拖累我的心理健康(出于非常复杂的个人原因,与本文无关),它是我使用 Squid 程序构建的。该设置的工作原理是让我的主要工作计算机连接到另一台运行 Squid 的计算机,我特意安排了这台计算机,这样我就不知道 root 密码,而该密码属于值得信赖的家庭成员。然后,这台代理计算机连接到互联网,专门供我使用。然而,虽然我已经使用它有一段时间了,而且它似乎能很好地阻止目标网站,但我注意到,它还会非常频繁地、几乎一直触发由 Cloudflare 等保护的网站(例如 LinuxQuestions.org)上的反机器人保护。

现在,我已经能够容忍这种情况,认为它不过是件烦人的事,但它一直让我很不舒服,因为我不知道它在安全方面意味着什么,而且在谷歌上搜索时找不到很多关于这种事情的报告。这是否表明服务器在某种程度上配置错误?怎么会这样?它会让系统受到损害吗?它会让网络管理员认为(即使不正确)我是某个恶意代理,想要入侵他们的网站,从而让我在某个时候陷入麻烦吗?请注意,由于当今大多数网站都使用 HTTPS,我必须启用 SSL Bump 功能,以便它可以解密 HTTPS URL 并嗅探相关域和关键字。我推测,由于 SSL Bump 系统的“中间人”性质,这会使传出的数据看起来像是来自机器人或其他恶意程序,但这是不可避免的吗?或者,这是否再次表明我在配置代理程序时做错了什么?

(注:我认为全文squid.conf太大,无法在这里发布。)

我还发现了类似这样的帖子:

为什么 ISP 后面的互联网流量不像 VPN 那样受到验证码的影响?

这表明这种情况可能发生在 VPN 上,因为 NAT 涉及将多个地址映射到一个地址,但在这里我只映射一个内部地址 - 如前所述,没有其他人使用代理网络。

答案1

我一直遇到与 CloudFlare 后面的主机相同的问题。我可以在这里分析的是,只要我不是在 Squid 级别“阻止流量/SSL 拦截流量”,我就能够抓取此类网站。

一旦我“增加”流量,我就会遇到 CloudFlare 的所有问题。好吧,老实说,没有 CloudFlare 我也能活下去。我觉得我已经用尽了所有 XFF、VIA 和其他设置,例如“visible_hostname”等,无论有没有 XFF 标头、VIA 标头等,问题都会发生。

这也可能是由于使用的 Squid 版本,如前所述,它可能会留下一些可匹配的模式/签名。我在这里运行的是稍旧的版本,v4.8,它嵌入在使用的解决方案中,并且在我的设置中是不可变的。

因此对我来说,目前的解决方法是不增加 Squid 的流量

答案2

一个可能的答案是代理留下了某种可以被拾取的签名 - 因此远程站点将代理视为可疑,因为用户通常会隐藏自己 - 与 http 不同 - https 不应该被代理(忽略完全不同的反向代理)

我只能假设触发器就像X-FORWARDED-FOR代理添加的标头或其匿名功能或两者兼而有之 - 我知道我的广告拦截器意味着谷歌更难跟踪我并建立个人资料,因此它会向我抛出更多的验证码。

这些验证码不太可能表明存在安全隐患 - 但如果代理服务器在 LAN 之外可访问,则并非不可能。找到与其关联的外部地址并进行 RBL/IP 信誉搜索以进行检查。

相关内容