lynx 抓取 http 请求

lynx 抓取 http 请求

我需要抓取并调试从 lynx 或其他基于文本的浏览器发出的所有 HTTP 请求和响应。如何保存所有请求 URL、重定向、标头和页面源以分析和调试此信息?我不需要 JavaScript 支持。哪些工具更适合此目的?

更新

为了部分解决我的问题,我使用了w3m基于文本的浏览器。

我使用选项启动 w3m -reqlog,然后 w3m 将所有标头、地址历史记录和 cookie 保存在~/.w3m目录中。

例如:

$ w3m -reqlog https://google.com

查看~/.w3m

$ ls ~/.w3m
cookie  history  request.log

存储~/.w3m/request.log所有标头。

如何保留页面正文?

答案1

Lynx 的-trace选项会记录 OP 请求的信息以及更多信息。那是写给~/Lynx.trace

进一步阅读:

相关内容