我正在尝试从一个网站下载一堆（假设为 .txt 文件），现在它们不是很大（每个大约 4-10kbs）但大约有 70000 个。
我想要的只是 .txt，我不想克隆像 HTTrack 等这样的网站...
有什么程序可以帮助我解决这个问题？（并节省我大量时间！）
干杯
答案1
如果你可以使用浏览器，你可以使用 Firefox 和DownThemAll 扩展。您需要浏览到目录的根目录并启动 DownThemAll - 您可以在选择屏幕上仅过滤 .txt 文件。
答案2
使用免费HTTrack 网站复制器。它允许您配置链接深度、最大文件大小、带宽、包含和排除链接等。“它允许您将万维网站点从 Internet 下载到本地目录，递归构建所有目录，将 HTML、图像和其他文件从服务器获取到您的计算机。HTTrack 安排原始站点的相对链接结构。”