分析 Akamai 流量

分析 Akamai 流量

我必须从某个网站获取信息。该网站依靠 Akamai 平台传输视频文件。我尝试了所有我知道的方法在页面加载时收集信息(真实视频的 URL),但总是得到相同(无用的)结果。话
虽如此,如果我在 TOR 中打开该网站 - 嗯,情况会有所不同。在正常浏览时,我获得的标头请求网址http://ushds2-vh.akamaihd.net/有用链接部分在 TOR 中,我能够获取流视频的真实 URL,它由以下部分组成:http://real_site.com/+有用链接部分.,只需通过内置调试工具即可。简而言之,在不同的浏览器上浏览同一页面会产生略有不同的标头。

那么,这是如何工作的?为什么我无法通过“正常”浏览拦截这些“特殊”标头?TOR 以何种方式运作?


*我尝试过的工具有 Fiddler、浏览器调试工具、MS Network Monitor、Wireshark... 我还尝试过切换 IP、DNS、用户代理、HTTP(S) 设置,但都没有成功。

编辑:也许我没有解释清楚情况。简而言之,通过 Firebug(Firefox 扩展),我设法获得了一些指向视频文件(各种质量)的链接,就像http://foo.com/relinker/relinkerServlet.htm?cont=video_hash。这些链接在正常解析时,会请求视频的相应 Akamai 链接,如下所示http://ushds2-vh.akamaihd.net/some_stuff然后流媒体就开始了。但这不会发生在 TOR 中。事实上,解析该链接 (foo...) 时,会请求文件的真实 URL(位于卫星站点而不是 Akamai 上),然后流媒体再次开始,但这次是从真实 URL 本身开始的。必须指出的是,所有这些过程都是自动发生的。现在真正的问题是:为什么会出现这种行为?TOR 如何设法获得该链接而不是 Akamai 链接?可能是由于代理吗?
此外,我发现有一个网站 UnderGet 可以实现大致相同的结果,它从第一个链接 (foo) 开始检索真实视频 URL。描述说“UnderGet 允许您下载被您的工作、学校或国家/地区的防火墙或其他工具阻止的文件。

答案1

很久以前,我曾与 Akamai 创始人之一 Daniel Lewin 共进晚餐,我们聊了一些 Akamai 的技术。当时,他使用的是动态分布式内容,其中部分内容将驻留在多个硬件上。前端服务器将接收请求,然后决定哪些服务器当时将以最小的性能损失将内容传递给接收者。这些内容可以从多台服务器组装而成。网络协议中有一些花哨的花招,可以欺骗所有人认为内容来自一个来源。

您在确定来源方面遇到困难并不令我感到惊讶,因为如果我没记错的话,该来源是为您(查看者)在此时此刻创建的唯一虚拟来源。

也许这种情况在 15 年后有所改变(当然这是在 9/11 之前),但本质上,Akamai 打破了规则。

相关内容