☰

如何解决访问网页时越来越多的 403 响应事件

tag-icon • tag-icon networking google-chrome router firefox safari
如何解决访问网页时越来越多的 403 响应事件

我在从家里使用任何设备访问 https 网页时遇到了很大麻烦。最初只有 usps.com，但现在已经扩展到 Bed Bath and Beyond 和 AA.com。具体来说，从我家网络上的任何设备（IOS、Mac 和 Windows）我都会得到

拒绝访问

您无权访问此服务器上的“web-url”。

参考编号 #18.25a75b68.1502569054.2c13e2cf

我知道这不是网站，因为我跳转到我们的一个 AWS 服务器，并且可以访问这些相同的网站。我已清除缓存和 cookie。我尝试过 IE、Chrome、Firefox 和 Safari。我关闭了调制解调器和路由器十分钟，并手动将 DNS 设置为 Google。仍然没有成功。

我执行了 tracert 并 ping 了其中一个站点，一切看起来都很好（或多或少）。

ping 和 traceroute

我还查看了 Firefox 中的开发者模式，发现响应已经到达服务器，我从服务器收到了 403 响应。

AA_服务器_响应

我想指出的是，我家里实际上有两个调制解调器和两个互联网服务。我可以通过我的业务线路访问这些资源，但我需要通过家庭线路访问它们 - 这是一种复杂的说法，这个问题似乎特定于我的家庭路由器和/或调制解调器和/或 IP 地址。我确实要求我的 ISP 更改我的 IP 地址，但他们不会。

答案1

我做了三件不同的事情，其中​​一件很可能解决了这个问题。

  1. 更换调制解调器 首先，我认为更换调制解调器会导致我被分配一个新的 IP 地址，我一直在考虑一个更新的 IP 地址，所以买了一个新的调制解调器。在与 ISP 通话以让调制解调器上线时，我发现有线电视公司分配的 IP 地址是分配给路由器的，而不是调制解调器的。

  2. 获得新的 IP 地址 我沮丧地向帮助我的人解释了我目前所做的一切，并表示如果有必要，我会去购买一个新的路由器。他更加支持我，并帮助我完成获取新 IP 地址的步骤。我需要做的是重置调制解调器 - 这将为我提供最佳机会，让我被动分配新的 IP 地址，而无需他做任何事情。

  3. 更新路由器上的固件当路由器重新启动时，需要更新固件。

完成这三个步骤后，我就可以完全访问那些让我头疼的网站了。技术人员表示，这种情况很少见，他认为，未来解决问题的最佳办法是从路由器开始。

我实际上怀疑更换调制解调器与分辨率无关，但我将其保留在此列表中，因为它发生了变化

我终于搞清楚了。我使用一些自动代码访问 SEC EDGAR 系统并从其收集中提取文件。我的使用是合法的/允许的，而且实际上受到 SEC 的鼓励。然而，阿卡迈监控网络流量，以及我何时刮擦EDGAR 他们将我的 IP 地址标记为坏演员。然后，他们会维护一个列表，将其租给一些公司，用于限制这些公司网站的流量。当我抓取数据时，我的 IP 地址就会出现在列表中，然后这些公司会向我付费阿卡迈阻止我的 IP 地址访问他们的网站 - 在 Akamai 的客户中，我曾遇到过 AA.com、USPS.COM、MACYS.com 和 HarleyDavidson.com 的问题。

似乎要花大约一周的时间才能从列表中获取我的 IP 地址。

我应该指出，我已与 Akamai 工程师和 SEC 的网络工程师确认了这一点。SEC 不明白 Akamai 为何使用合法的 EDGAR 流量来识别爬虫程序，但他们确实这么做了。

相关内容