我正在尝试从 Server 2012 R2 重复数据删除功能中获得一些合理的结果,但屡屡失败。我有两个较大的卷(4 + 2 TB),分别公开为 D: 和 E:。这些卷作为群集存储分配给两个不同的文件服务器群集资源(不知道这是否会改变任何内容),并且磁盘在尝试启用重复数据删除的计算机上处于联机状态。
Enable-DedupVolume D:
Enable-DedupVolume E:
Set-DedupVolume -Volume D: -MinimumFileAgeDays 0
Set-DedupVolume -Volume E: -MinimumFileAgeDays 0
Start-DedupJob D: -Type Optimization
Start-DedupJob E: -Type Optimization
几分钟后,两项优化工作都完成了。与此同时,两个磁盘都有一些磁盘读取负载。最后,我在重复数据删除日志中收到的事件表明没有进行任何重复数据删除:
Log Name: Microsoft-Windows-Deduplication/Operational
Source: Microsoft-Windows-Deduplication
Date: 12/2/2015 11:36:02 AM
Event ID: 6153
Task Category: None
Level: Information
Keywords:
User: SYSTEM
Computer: wss-01.example.com
Description:
Optimization job has completed.
Volume: D: (\\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\)
Error code: 0x0
Error message:
Savings rate: 0
Saved space: 0
Volume used space: 2867461320704
Volume free space: 1530452017152
Optimized file count: 0
In-policy file count: 0
Job processed space (bytes): 0
Job elapsed time (seconds): 37
Job throughput (MB/second): 0
Log Name: Microsoft-Windows-Deduplication/Operational
Source: Microsoft-Windows-Deduplication
Date: 12/2/2015 11:38:26 AM
Event ID: 6153
Task Category: None
Level: Information
Keywords:
User: SYSTEM
Computer: wss-01.example.com
Description:
Optimization job has completed.
Volume: E: (\\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\)
Error code: 0x0
Error message:
Savings rate: 0
Saved space: 0
Volume used space: 2068610711552
Volume free space: 130142007296
Optimized file count: 0
In-policy file count: 0
Job processed space (bytes): 0
Job elapsed time (seconds): 686
Job throughput (MB/second): 0
数据卷相当密集 - D: 主要是 ISO 映像和不同类型的安装程序,而 E: 是典型的用户家庭数据,因此我认为一些节省(至少超过 0)以显示。Update-DedupStatus
对任一卷的调用都没有多大作用。结果get-dedupstatus
表明没有文件被视为“符合重复数据删除策略”:
PS C:\> get-dedupstatus | select-object -Property *
ObjectId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\
Capacity : 2198752718848
FreeSpace : 130142007296
InPolicyFilesCount : 0
InPolicyFilesSize : 0
LastGarbageCollectionResult :
LastGarbageCollectionResultMessage :
LastGarbageCollectionTime :
LastOptimizationResult : 0
LastOptimizationResultMessage : The operation completed successfully.
LastOptimizationTime : 12/2/2015 11:45:10 AM
LastScrubbingResult :
LastScrubbingResultMessage :
LastScrubbingTime :
OptimizedFilesCount : 0
OptimizedFilesSavingsRate : 0
OptimizedFilesSize : 0
SavedSpace : 0
SavingsRate : 0
UnoptimizedSize : 2068610711552
UsedSpace : 2068610711552
Volume : E:
VolumeId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\
PSComputerName :
CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolumeStatus
CimInstanceProperties : {Capacity, FreeSpace, InPolicyFilesCount, InPolicyFilesSize...}
CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties
ObjectId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\
Capacity : 4397913337856
FreeSpace : 1530452013056
InPolicyFilesCount : 0
InPolicyFilesSize : 0
LastGarbageCollectionResult : 5657346
LastGarbageCollectionResultMessage : There are no actions associated with this job.
LastGarbageCollectionTime : 12/2/2015 11:58:12 AM
LastOptimizationResult : 0
LastOptimizationResultMessage : The operation completed successfully.
LastOptimizationTime : 12/2/2015 11:45:10 AM
LastScrubbingResult : 0
LastScrubbingResultMessage : The operation completed successfully.
LastScrubbingTime : 11/28/2015 3:45:07 AM
OptimizedFilesCount : 0
OptimizedFilesSavingsRate : 0
OptimizedFilesSize : 0
SavedSpace : 0
SavingsRate : 0
UnoptimizedSize : 2867461324800
UsedSpace : 2867461324800
Volume : D:
VolumeId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\
PSComputerName :
CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolumeStatus
CimInstanceProperties : {Capacity, FreeSpace, InPolicyFilesCount, InPolicyFilesSize...}
CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties
并且配置基本保持默认设置:
PS C:\> get-dedupvolume | select-object -Property *
ObjectId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\
UsageType : Default
Capacity : 2198752718848
ChunkRedundancyThreshold : 100
DataAccessEnabled : True
Enabled : True
ExcludeFileType :
ExcludeFileTypeDefault : {edb, jrs}
ExcludeFolder :
FreeSpace : 130142007296
MinimumFileAgeDays : 0
MinimumFileSize : 32768
NoCompress : False
NoCompressionFileType : {asf, mov, wma, wmv...}
OptimizeInUseFiles : False
OptimizePartialFiles : False
SavedSpace : 0
SavingsRate : 0
UnoptimizedSize : 2068610711552
UsedSpace : 2068610711552
Verify : False
Volume : E:
VolumeId : \\?\Volume{a3f85da5-283e-4ed4-81c0-2c0fd163b1c3}\
PSComputerName :
CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolume
CimInstanceProperties : {Capacity, ChunkRedundancyThreshold, DataAccessEnabled, Enabled...}
CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties
ObjectId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\
UsageType : Default
Capacity : 4397913337856
ChunkRedundancyThreshold : 100
DataAccessEnabled : True
Enabled : True
ExcludeFileType :
ExcludeFileTypeDefault : {edb, jrs}
ExcludeFolder :
FreeSpace : 1530452013056
MinimumFileAgeDays : 0
MinimumFileSize : 32768
NoCompress : False
NoCompressionFileType : {asf, mov, wma, wmv...}
OptimizeInUseFiles : False
OptimizePartialFiles : False
SavedSpace : 0
SavingsRate : 0
UnoptimizedSize : 2867461324800
UsedSpace : 2867461324800
Verify : False
Volume : D:
VolumeId : \\?\Volume{73180747-4bf5-4292-86fd-8e8fc4d076c4}\
PSComputerName :
CimClass : ROOT/Microsoft/Windows/Deduplication:MSFT_DedupVolume
CimInstanceProperties : {Capacity, ChunkRedundancyThreshold, DataAccessEnabled, Enabled...}
CimSystemProperties : Microsoft.Management.Infrastructure.CimSystemProperties
我已经尝试从集群服务角色中分离相应的磁盘(即,仅使它们成为具有“简单”卷和 NTFS 文件系统的独立磁盘),禁用并重新启用重复数据删除并进行优化运行,而整体结果没有任何重大变化。
那么它为什么坏了以及我该如何修复它?
答案1
我的问题似乎是我试图进行重复数据删除的数据来自一个暴露 SMB 存储的 NetApp 文件管理器。从那里复制的所有文件(通过robocopy
)/COPYALL
似乎都附加了扩展属性“.NETAPP”。重复数据删除会忽略具有扩展属性的文件根据文件:
笔记
具有扩展属性的文件、加密文件、小于 32 KB 的文件以及重解析点文件不受重复数据删除处理。
再次检查假设很容易,只需创建两个具有(几乎)相同内容的文件:
type C:\Windows\WindowsUpdate.log > d:\file1.txt
type C:\Windows\WindowsUpdate.log > d:\file2.txt
运行优化作业,看到InPolicyFilesCount
增加到 2。其他人报告NetApp 用户论坛中也有类似问题。
我只需要找到如何在合适的时间内删除约 1000 万个文件上的 EA - 幸运的是,Veritas 发布了EVEARemoval实用程序完成这项任务,因为他们的归档解决方案存在 EA 和他们作为归档数据指针创建的连接点之间的不兼容性。该工具可免费下载,使用方法简单:
EVEARemovalUtility.exe \\server\Share -d -s
创建具有各自扩展属性的文件列表EVEARemovalUtility.exe \\server\Share -r -s
删除所有文件中的 EA
可能是由于它的年代久远、安装方式以及缺乏更新的文档,它无法在 Server 2012 R2 上开箱即用,并抱怨缺少 DLL。我使用 Server 2008 R2 机器执行此操作作为解决方法。
删除 EA 后,重复数据删除功能将按预期运行。