我们有 1TB 的文件,希望在三个位置之间保持同步。这些数据包含大约 150 万个文件,平均每天增长/更改 100MB。
第一个地点是昆士兰州的一家办事处,该办事处拥有一条专用的 ADSL2+ 同步线路,速度为 20000/1024kbps,通过 10MB 链路连接到数据中心的同地服务器。远程站点是阿根廷的一家办事处,使用一条微不足道的 SDSL 512/512 链路。该线路可能升级到最高 2Mb SHDSL。
我们想要的结构是:昆士兰州办公室<-->昆士兰州数据中心(仅用于异地备份)<-->阿根廷办公室
我从昆士兰州办公室和阿根廷办公室的 speedtest.net 进行了一些速度测试:
昆士兰州办公室上传速度:0.95Mb/s
从阿根廷办公室上传速度:0.51Mb/s 到本地服务器,0.38Mb/s 到昆士兰服务器 :(
我们不能使用标准同步软件(rsync,viceversa等)来保持这些数据同步,因为时区差异使其变得非常复杂,所以我们正在考虑分布式文件系统解决方案。
我们正在尝试找出更可行的方法——使用带有 Windows 2008 服务器的 Microsoft DFS-R 或第三方 WAFS 提供商,例如全球视野世界渔业渔业系统。
我正在尝试寻找一种可以执行以下操作的解决方案:
- 能够通过将外部硬盘发布到远程站点等来初始填充文件。
- 设置后可以手动填充 - 例如,如果我们需要添加 200GB 的文件,我们可以使用此数据再次发布驱动器,并在所有站点手动添加它
- 能够正确解释远程站点的巨大时区差异
- 文件的离线可用性——即如果互联网连接中断,我们仍然可以查看/编辑文件
- 无论是 Delta Sync 压缩还是文件压缩——我们处理的很多文件都是大型 ascii 文件,这些文件很容易以较大的比率压缩,因此压缩效果会很好。
- 文件锁定很好,但不是必需的,因为文件位于不同的时区
- 能够利用所描述的较慢的互联网链接完成上述所有操作。
我研究过 GlobalScape WAFS,它看起来很有希望,因为与大多数 DFS 不同,您可以将它指向文件所在的位置,而不是将它们复制到共享中,但仅软件费用 3 个代理的报价就为 10,000 美元,我想知道是否还有更好的解决方案。
Microsoft DFS-R 看起来也不错,但我找不到太多信息来了解它是否能够通过非常慢的链接处理这么多文件。
任何建议/指示我都会非常感激
答案1
我们目前使用 Server 2008 DFSR 传输 900 GB 的文件,每天大约有 3 GB 的文件发生变化。我们的拓扑结构是一个中心,有 3 个辐条。每个辐条都位于 4Mb/1Mb ADSL 连接上,相隔约 300-500 公里。我们的中心站点有 10Mb/10Mb 连接。
除了缺少文件锁定之外,在解决了一些初始配置问题之后,DFSR 一直运行顺畅,我们对此非常满意。我强烈建议使用 Server 2008 或 Server 2008 R2 进行 DFSR,因为有许多改进可以帮助您降低链接速度。
回答你的问题:
- 您可以使用远程站点的外部硬盘预先播种数据,以减少初始复制。
- 我很确定您无法以预先播种的方式添加其他信息(您的 200 GB 示例),因为一旦完成初始复制,它就会变成多主拓扑。
- 时区不应该有任何影响,特别是当您不修改默认复制计划时。
- 离线访问 - 每个分支服务器中都存储有本地副本,因此即使 WAN 断线,您仍可以访问该副本。一旦 WAN 恢复,复制将继续。
- DFSR 使用 RDC 并且仅复制更改,因此您将看到传输大小大幅减少。我们当前的复制报告节省了 57.88%,实际大小为 176.55 GB,实际大小为 74.36 GB。这是自上次服务重启以来的。
- DFSR 不支持文件锁定,但可以通过事件日志监控冲突。
- 虽然不是最理想的,但它应该可以与您的慢速链接一起工作,因为我们有类似的链接。
根据这篇博文中的最后一条评论(我自己的),我不会推荐 Globalscape WAFS: http://blogs.technet.com/b/askds/archive/2009/02/20/understanding-the-lack-of-distributed-file-locking-in-dfsr.aspx?CommentPosted=true&PageIndex=2#comments 也许从那时起产品已经发生了变化,但这只是几个月的时间。
答案2
使用 dfsr 执行以下操作进行预阶段
http://support.microsoft.com/kb/947726
如果任何进程的链接速度非常慢,则不会发生文件锁定。如果不使用 dfsr,还可以查看 steeleye 以了解更便宜的复制方案!
答案3
您可能想看看 Peer Software。www.peersoftware.com。他们的解决方案正好满足您的需求,比 Global Scape Products 更强大,而且价格更便宜。
答案4
关于 Globalscape WAFS,我了解到了一些事情:
- 虽然没有记录,但他们的支持人员表示要将复制作业保持在 250 GB 以下,文件保持在 300K 以下。每个代理最多可以有 60 个作业。
- 该软件目前只有 32 位版本,这导致了上述限制,因为系统只能在内存中保存 2 GB 的索引文件。如果它是 64 位的,它的规模就会大得多。
- 该软件似乎是单线程的,这意味着它只能利用单个 CPU 核心。该软件有时会占用大量 CPU,如果它可以利用多个 CPU 核心,那将非常有益。