如何获取一系列目录，只获取一组编号目录中最高的目录（及其子目录/文件）？

Question

我正在循环访问一系列顶级目录，这些目录都有类似的结构，如下所示：

some_dir/some_other_dir/a_different_dir/{1,2,3,4,5,6...}

我想a_different_dir使用 wget 仅提取编号最高的子目录（及其内容）。每个顶级目录的编号方案都不同，并且定期进展。按时间顺序，编号最高的目录也始终是最新的。

现在我有：

wget -nH --timestamping --recursive --no-parent --cut-dirs=3 http://website.com/some_dir/some_other_dir/a_different_dir/

当然，这会下载所有内容，但我既没有磁盘空间来存储，也没有时间下载所有内容来使--timestamping这种情况有效。

我只能通过 http 访问。自动化此操作的最佳方法是什么？