我想扫描我网站上的所有 URL 并获取其中的文件，但问题是，文件太多了，我无法手动完成这些操作，那么我该怎么做呢？
无论如何，只要它有某种顺序，我都希望它被格式化。
例如：URL/文件夹 URL/文件夹/文件 URL/文件夹/文件2 URL/文件夹2/文件
所有内容都存储在一个 .txt 文件中
我该如何做呢？
答案1
尝试ls传递-R开关。它列出了子目录。以下是示例：
ls -R /path/to/whatever > folders.txt
如何扫描文件夹中的网站？像爬虫一样？