使用 Linux 命令行将文本文件从 Web 保存到本地

Question

我有几个文本文件，我想从学校的网络服务器中获取它们，并使用命令行界面将它们保存到我的本地。这不是家庭作业问题，只是我试图以一种高效的方式做一些乏味的事情。所以我有两件事要做：

1. 递归遍历 Web 服务器上的目录以查找某个文本文件。我不确定我是否能够直接从命令行执行此操作，而无需编写一些小型自定义应用程序，但任何想法都会受到赞赏。

2. 复制文本文件并保存在我的本地磁盘上。我发现此链接，但我还没能弄清楚如何将其 cat 到文件中或在本地保存它。

Answer 1

wget 是一个很好的工具，可以从网络服务器递归抓取文件。

  wget -r 'http://url/'

Answer 2

在 Linux 中，有两个基本工具可以从命令行获取文件。

1. 获得
   • 卷曲

这很重要什么使文件变得有趣，以便您获取它。

如果它与它有关小路或者姓名，事情就变得简单了，你只要“爬行”网站就可以浏览所有内容。

但是，如果你需要获取一个文件，因为它包含一些有趣的东西您将搜索其内容（并且您没有为此建立索引 - 比如说谷歌搜索），那么您将需要获取每个文件并检查它是否符合您的兴趣以保留或删除（本地副本）。

Answer 3

一种递归下载网页的简单方法。

wget -r -p -k -c -np URL

如果你想省略 zip、tar.gz 和 rar 文件

wget -r -p -k -c -np -R zip,gz,rar URL

或者你可以使用追踪，它具有用于配置（如过滤规则）的 GUI（本机和 Web）。