包含超过 300 万个文件的 FTP 目录。有什么建议吗?

包含超过 300 万个文件的 FTP 目录。有什么建议吗?

我继承了一个运行 Red5 实例的 Ubuntu 服务器,该实例将流存储在单个目录中。流目录已增长到超过 300 万个文件,驱动器已达到其容量。我被要求删除超过某个日期的文件,并根据我为其编写脚本的数据库记录查找。我在运行脚本之前意识到这些流绝对没有备份,我当然犹豫在进行备份之前运行我的脚本。

不幸的是,我无法物理访问此服务器,因此我需要通过 FTP 传输文件。我从另一个系统通过 FTP 连接,并尝试使用 Filezilla 客户端通过 FTP 将文件下载到另一台机器。问题是 Filezilla 的最后响应是“150 目录列表来了”,但它在那里挂了几个小时,最后导致 Filezilla 崩溃。我猜它似乎在等待列表,以便建立队列。

我尝试通过 ssh 进入服务器,并在简单的 ftp 中输入简单的 mput *,这可行,但它一次只能上传 1 个文件,这将花费很长时间...我希望使用类似 Filezilla 的东西,这样我就可以设置多个连接并一次下载多个。

有没有其他方法可以将这些文件发送到另一台服务器?顺便说一下,另一台服务器不在同一网络上,但两者之间的连接速度非常快。

任何帮助大大非常感谢。谢谢!

答案1

一些建议:

  • 尝试同步
  • 你可以尝试lftp而不是 ftp。它可以处理多个连接。
  • 在删除脚本中将“rm”替换为“echo”并检查输出。
  • 也许,您可以使用 FXP,即直接在 ftp 服务器之间传输文件。但是,我知道的所有服务器都出于安全原因禁用了此功能。

答案2

文件的压缩程度如何?您可以先对文件进行 Tar 和 Gzip 压缩,然后再传输它们吗?

答案3

如何使用外部硬盘和 FedEx?

如果您没有物理访问权限,托管公司是否应该能够插入外部驱动器?

相关内容