如何在不影响源服务器的情况下将一个 500GB 的文件从 win2003 复制到 lan/usb?

如何在不影响源服务器的情况下将一个 500GB 的文件从 win2003 复制到 lan/usb?

我必须(定期)将一个 500 GB 大小的 MSSQL 备份文件复制到局域网内的另一台电脑(Windows 或 Linux)。

到网络共享(或外部 USB 磁盘)的正常复制(或 xcopy、robocoy、teracopy)命令需要花费大量时间(大约 12 小时),并且带有备份文件的服务器变得非常慢(因为只有一个 RAID SAS 控制器)。

一个“想法”可能是将备份文件分割成更小的部分(像 torrent)并同时复制这些部分,但我不知道如何去做。

我的主要目标是在不影响源服务器的情况下进行复制。

任何想法或工具的建议都将受到赞赏。

答案1

不幸的是,有了窗户,你的选择就有点有限了。你可以只需尝试设置 FTP 服务器(不要使用 IIS 服务器)并设置最大带宽即可。这应该可以有效降低对服务器的影响。

不过,老实说,如果你在单线程复制单个文件时遇到明显的速度减慢……我怀疑还有其他问题。如果你说的是从 SAS -> USB(或反之亦然)复制,并且出现延迟……USB 堆栈可能存在一些问题。USB 堆栈不应该对系统性能产生如此大的影响。如果你在从 SAS 卷执行任何操作时遇到延迟……也许你的 raid 控制器的固件坏了……或者你使用了错误的驱动程序……(或者在某些情况下……真的廉价的 SAS 控制器)。这也可能是某些防病毒程序(或多个程序重叠)导致机器以 4 倍于必要的速度运行的结果。(一般来说……只使用 1 个防病毒程序。使用更多只会让您的机器毫无理由地更加努力地工作。)即使您的卷到处都是碎片,也会导致您所说的症状。

我会首先尝试解决问题而不是简单地绕过它。

答案2

根据您的描述,服务器无法处理 I/O 负载。我倾向于认为这是由于 TheCompWiz 所说的其他故障造成的。除非您修复/缓解了问题的原因(您认为是主轴不足或 RAID 控制器太慢),否则您不会更快地被复制

由于您的首要目的是在不影响服务器的情况下进行复制,因此请考虑限制带宽/复制速度,即故意使其运行得更慢。robocopy 有一个“数据包间间隙”选项robocopy /ipg:N(其中是某个数字),可以用来限制速度。http://technet.microsoft.com/en-us/library/cc733145%28WS.10%29.aspx。我知道 teracopy 也是这样的。

要澄清的是,您是否只需要复制此文件一次,还是需要定期按计划复制备份文件?如果是定期复制,出于备份目的,那么正如 Tom 所说,仅将更改的内容从一个 500GB 文件复制到下一个“版本”将节省大量时间并减少服务器负载。也许如果您解释您的总体意图而不是您目前遇到的问题,您可能会得到一些有用的想法。

答案3

真正让这个过程更快的唯一方法是采用某种只复制增量的块级解决方案。

答案4

您在复制时是否监控过 Windows 服务器上的内存使用情况?我想知道您是否遇到了“大文件”问题。

看一下Windows Server 2008 x64、大文件传输和内存使用情况(以及从那里链接的一些其他页面)

相关内容