我有一些客户上传大量数据到我的 FTP 服务器(一台 Ubuntu 9.10 机器)。文件上传后,我需要将它们传输到本地 Droboshare 网络驱动器,以便我们的技术支持人员可以检索它们并分析问题。
安装网络共享后,/media/<sharename>
我手动运行此命令来获取这些文件:
sudo mv /home/ftp/<data_dir>/<file_name> /media/<network_share>/<ftp_user_data>
但这需要很长时间,如果有几十或几百个文件,我实际上无法一遍又一遍地这样做。我认为有一个可以定期运行的脚本将一组文件传输到网络共享会很好。我可以对它们进行排序,以供技术支持人员使用。
我对 Linux 和编写 shell 脚本还不熟悉。有什么方法可以轻松做到这一点?在此补充一下描述,这些文件可能是ZIP 文件,FASTA 文件,TAR.GZ 文件和/或TXT 文件。此外,如果 ZIP 文件很大,某些压缩程序会将其转换为邮政编码.001,邮政编码.002,邮政编码.003等等...所以这个 FTP 目录中的文件类型可能非常多样化。
我在想,我可以识别这些文件的方式是通过简单地传输目录中的所有文件(尽管这可能需要一段时间)或者根据完成时间或类似的东西来指定其中的子集。
我愿意听取意见。提前致谢。
答案1
为什么不直接将 FTP 文件夹设为网络驱动器的实际挂载点?我遇到了类似的问题,我经常将 Linux 计算机上的虚拟机备份到 Windows 网络共享(因为公司的大部分基础设施都是 Windows)。这是我的结构:
/media/windows-share
我的挂载点是
为了保持连续性,我在备份应用程序中创建了一个符号链接:
/opt/backup/mnt
所以如果将来挂载点发生变化,我的程序就不需要更新。
最后我使用了一个很酷的小工具,叫做autofs
(sudo apt-get install autofs
)该指南很不错(而且是最新的)——尽管我在自己的博客。
对于您来说,我会在我的 FTP 投递箱 ( /home/ftp/<data_dir>/
) 的位置创建一个符号链接,指向相应的网络文件夹,/media/<network_share>/<ftp_user_data>
这样就不会浪费时间在磁盘间传输,而且文件可以立即使用。
答案2
要将文件从这里复制到那里(或从那里复制到这里),同步是一把瑞士军用电锯,它很可能会满足您的要求。
答案3
您可以尝试在文件上传到 FTP 后立即处理它们,使用 inotify 等技术。inoticoming
您可以使用该工具来实现这一点,请参阅http://manpages.ubuntu.com/manpages/lucid/man1/inoticoming.1.html。