减少远程服务器上的数据量

减少远程服务器上的数据量

我有一个模糊的问题..很难通过谷歌搜索,所以使用 stackexchange 可能更有用。

目前的情况是

  • 本地计算机:Ubuntu 16.04,存储空间不大(~100 Gb)
  • 远程服务器:Ubuntu 18.04,大量存储空间(~2 Tb),而且用户也很多。
  • 通讯:通过 ftp/ssh
  • 当前应用程序:在远程服务器上运行模型几天

我在远程服务器上有很多数据集(总共 1.5 Tb),但我并不总是使用所有数据集。我家里确实有一个 8 Tb 的大硬盘。我可以只将必要的文件传输到服务器上,但是执行我想要更改数据集的所有操作可能需要相当长的时间。有没有一些聪明的方法可以使用我的本地硬盘作为远程服务器的“临时”存储?同样,没有太多的数据开销?

我唯一的解决方案是通过将本地硬盘连接到本地计算机来使本地硬盘成为远程服务器的“共享文件夹”。通过这种方式,远程服务器应该能够访问数据,但我想这意味着我需要在运行模型时保持计算机处于开启状态。而且我仍然受到数据传输时间的困扰。

相关内容