我需要抓取并调试从 lynx 或其他基于文本的浏览器发出的所有 HTTP 请求和响应。如何保存所有请求 URL、重定向、标头和页面源以分析和调试此信息?我不需要 JavaScript 支持。哪些工具更适合此目的?
更新
为了部分解决我的问题,我使用了w3m基于文本的浏览器。
我使用选项启动 w3m -reqlog
,然后 w3m 将所有标头、地址历史记录和 cookie 保存在~/.w3m
目录中。
例如:
$ w3m -reqlog https://google.com
查看~/.w3m
:
$ ls ~/.w3m
cookie history request.log
存储~/.w3m/request.log
所有标头。
如何保留页面正文?