![网页抓取/爬取所有文件(可公开获取)的列表,而不是从主页开始逐个查找每个文件 5 个时钟](https://linux22.com/image/1629455/%E7%BD%91%E9%A1%B5%E6%8A%93%E5%8F%96%2F%E7%88%AC%E5%8F%96%E6%89%80%E6%9C%89%E6%96%87%E4%BB%B6%EF%BC%88%E5%8F%AF%E5%85%AC%E5%BC%80%E8%8E%B7%E5%8F%96%EF%BC%89%E7%9A%84%E5%88%97%E8%A1%A8%EF%BC%8C%E8%80%8C%E4%B8%8D%E6%98%AF%E4%BB%8E%E4%B8%BB%E9%A1%B5%E5%BC%80%E5%A7%8B%E9%80%90%E4%B8%AA%E6%9F%A5%E6%89%BE%E6%AF%8F%E4%B8%AA%E6%96%87%E4%BB%B6%205%20%E4%B8%AA%E6%97%B6%E9%92%9F.png)
问题概述
我正在尝试从以下地址创建所有文件(100 个)的列表(并可能下载):https://eba.europa.eu/regulation-and-policy
我每周都会在工作中使用它来识别网站上的变化或新项目。
为每个文件手动执行此操作的 5 次点击如下:
- https://eba.europa.eu/
- https://eba.europa.eu/regulation-and-policy
- https://eba.europa.eu/regulation-and-policy/accounting-and-auditing
- https://eba.europa.eu/regulation-and-policy/accounting-and-auditing/rts-on-methods-of-prudential-consolidation
- https://eba.europa.eu/sites/default/documents/files/documents/10180/2019694/3b8e5188-f7e3-4d11-b9ae-256e47d61e4b/Consultation%20Paper%20on%20RTS%20on%20methods%20of%20prudential%20consolidation%20%28EBA-CP-2017-20%29.pdf
研究
我已经搜索了代码和插件。
我尝试过的方法
我尝试过通过 Firefox 和 Google Chrome 以及 Python 脚本使用多个插件,但是,我只成功下载了文件,而无法生成带有其属性的文件列表(如果可用,则为空白),例如主题、状态、日期、文件链接等。
我曾见过软件开发人员这样做,所以我知道这是可以做到的。如果您能帮忙,我将不胜感激,感谢您的关注!
答案1
Wget 和 httrack 可用于对给定的文件、扩展名、链接深度等执行网站剥离。我只将 wget 用于此目的,尽管它不是严格意义上的网络抓取工具。
wget -P [download dir] -pkr -ln [URL] - Download URL and recurse pages to link depth n and convert all links to relative filesystem.
wget -r -l4 -spider -D [URLs] [URL] - Recursively spider URL to link depth 4 restricting recursion to listed URLs.
网上有一些不错的 wget 指南。
httrack 是从 Debian 或基于 Debian 的 repos 安装的。