☰

我的克隆驱动器命令是否最佳？

tag-icon • tag-icon dd
我的克隆驱动器命令是否最佳？

我花了半个小时阅读资料，准备克隆我的硬盘。它有多个分区，包括一个 Windows 分区。我打算买一个非常大的外置硬盘用于备份。如果出现问题（我即将进行一些操作系统重组），我希望能够使用此克隆来恢复整个驱动器。我想学习如何使用 dd 来做到这一点，因为我喜欢不需要安装任何东西的低级工具。

我从以下有用的代码中找到了Ubuntu 论坛（使用 Live CD 从 root shell 进入）：

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

（我知道我必须编辑输入和输出位置。）但是我有两个问题。第一个问题对于新手来说很困难：这个命令分为两行。当我在感叹号后按下回车键时，它肯定会启动该过程吗？

二、在其他网站上，它建议输入块大小。像这样：

# dd if=/dev/hda conv=sync,noerror bs=64K of=/mnt/sda1/hda.img

我对块大小一无所知。64K 对吗？从以下 sudo fdisk -ul 的输出来看，我的块大小似乎是 512 字节：

Disk /dev/sda: 750.2 GB, 750156374016 bytes
255 heads, 63 sectors/track, 91201 cylinders, total 1465149168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0xc3ffc3ff

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *          63   143364059    71681998+   7  HPFS/NTFS/exFAT
Partition 1 does not start on physical sector boundary.
/dev/sda2       976867328  1465147391   244140032    7  HPFS/NTFS/exFAT
/dev/sda3       143364094   976867327   416751617    5  Extended
Partition 3 does not start on physical sector boundary.
/dev/sda5       143364096   162895871     9765888   82  Linux swap / Solaris
/dev/sda6       162897920   205864959    21483520   83  Linux
/dev/sda7       205867008   976867327   385500160   83  Linux

Partition table entries are not in disk order

Disk /dev/mapper/cryptswap1: 10.0 GB, 10000269312 bytes
255 heads, 63 sectors/track, 1215 cylinders, total 19531776 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x433bb3a7

Disk /dev/mapper/cryptswap1 doesn't contain a valid partition table

谢谢。

答案1

进步

您列出的命令

dd if=/dev/hda of=/dev/hdb & pid=$!
while kill -USR1 $pid; do sleep 1; done

dd是一个很好的双行程序，可以定期获取进度。我也使用非常类似的程序。看起来不错。找到了这里也许？

块大小dd：对齐和性能

您可以添加执行操作的块大小。底层块设备的块大小对于同样出色地完成操作并不重要，但出于性能原因，您可能需要选择一个适合您需要的块大小。

首先，对齐。如果您的块设备以 512KiB 运行（如闪存驱动器），那么dd使用bs=512（字节）运行将非常不幸，因为从设备角度来看，这将导致每个块 1024 次写入（！）。实际上，情况不会这么糟糕，因为写入会被缓冲并一次性处理，但在同步期间，它仍然可能放大写入量很多。

然后还要考虑处理大量小操作时的普通 CPU 使用率开销。复制大量数据时，一次处理兆字节会更有效率。

我的最佳实践是从 1MB 开始，因为这是大多数设置的一个很好的倍数，包括 RAID 条带大小、LVM 扩展大小等。在我的带有 SSD 的笔记本电脑上，我倾向于使用 10MB 作为块大小来看到轻微的改进，而在我的物理硬盘上我再也看不到它了。

最后一个区块

不用担心驱动器/卷大小不是块大小的倍数。最后一个块dd将被调整以匹配其上的最后一位数据。您可以通过查看输出来查看最后一个块的大小是否不同。

18335302+0 records out

表示+0完全匹配，a+1表示不匹配。没什么大不了的。

也可以看看

答案2

正如其他人所说，没有普遍正确的块大小；对于一种情况或一种硬件而言最佳的块大小对于另一种情况或硬件而言可能非常低效。此外，根据磁盘的健康状况，使用与“最佳”块大小不同的块大小可能更好。

在现代硬件上，有一件事是相当可靠的，那就是 512 字节的默认块大小往往比更优化的替代方案慢近一个数量级。当有疑问时，我发现 64K 是一个相当可靠的现代默认值。虽然 64K 通常不是最佳块大小，但根据我的经验，它往往比默认值高效得多。64K 也具有相当可靠的可靠性能历史：您可以找到来自 Eug-Lug 邮件列表的消息，大约在 2002 年，建议块大小为 64K。

为了确定最佳输出块大小，我编写了以下脚本，测试使用 dd 以一系列不同的块大小（从默认的 512 字节到最大 64M）写入 128M 的测试文件。请注意，此脚本在内部使用 dd，因此请谨慎使用。

dd_obs_test.sh：

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_obs_testfile}
TEST_FILE_EXISTS=0
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=1; fi
TEST_FILE_SIZE=134217728

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Calculate number of segments required to copy
  COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))

  if [ $COUNT -le 0 ]; then
    echo "Block size of $BLOCK_SIZE estimated to require $COUNT blocks, aborting further tests."
    break
  fi

  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Create a test file with the specified block size
  DD_RESULT=$(dd if=/dev/zero of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync 2>&1 1>/dev/null)

  # Extract the transfer rate from dd's STDERR output
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  # Clean up the test file if we created one
  if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

  # Output the result
  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

在 GitHub 上查看

我仅在 Debian（Ubuntu）系统和 OSX Yosemite 上测试过该脚本，因此可能需要进行一些调整才能在其他 Unix 版本上运行。

默认情况下，该命令将dd_obs_testfile在当前目录中创建一个名为的测试文件。或者，您可以通过在脚本名称后提供路径来提供自定义测试文件的路径：

$ ./dd_obs_test.sh /path/to/disk/test_file

脚本的输出是测试的块大小及其各自的传输速率的列表，如下所示：

$ ./dd_obs_test.sh
block size : transfer rate
       512 : 11.3 MB/s
      1024 : 22.1 MB/s
      2048 : 42.3 MB/s
      4096 : 75.2 MB/s
      8192 : 90.7 MB/s
     16384 : 101 MB/s
     32768 : 104 MB/s
     65536 : 108 MB/s
    131072 : 113 MB/s
    262144 : 112 MB/s
    524288 : 133 MB/s
   1048576 : 125 MB/s
   2097152 : 113 MB/s
   4194304 : 106 MB/s
   8388608 : 107 MB/s
  16777216 : 110 MB/s
  33554432 : 119 MB/s
  67108864 : 134 MB/s

（注：传输速率的单位因操作系统不同而不同）

要测试最佳读取块大小，您可以使用或多或少相同的过程，但不是从/dev/zero磁盘读取和写入，而是从磁盘读取并写入/dev/null。执行此操作的脚本可能如下所示：

dd_ibs_test.sh：

#!/bin/bash

# Since we're dealing with dd, abort if any errors occur
set -e

TEST_FILE=${1:-dd_ibs_testfile}
if [ -e "$TEST_FILE" ]; then TEST_FILE_EXISTS=$?; fi
TEST_FILE_SIZE=134217728

# Exit if file exists
if [ -e $TEST_FILE ]; then
  echo "Test file $TEST_FILE exists, aborting."
  exit 1
fi
TEST_FILE_EXISTS=1

if [ $EUID -ne 0 ]; then
  echo "NOTE: Kernel cache will not be cleared between tests without sudo. This will likely cause inaccurate results." 1>&2
fi

# Create test file
echo 'Generating test file...'
BLOCK_SIZE=65536
COUNT=$(($TEST_FILE_SIZE / $BLOCK_SIZE))
dd if=/dev/urandom of=$TEST_FILE bs=$BLOCK_SIZE count=$COUNT conv=fsync > /dev/null 2>&1

# Header
PRINTF_FORMAT="%8s : %s\n"
printf "$PRINTF_FORMAT" 'block size' 'transfer rate'

# Block sizes of 512b 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 2M 4M 8M 16M 32M 64M
for BLOCK_SIZE in 512 1024 2048 4096 8192 16384 32768 65536 131072 262144 524288 1048576 2097152 4194304 8388608 16777216 33554432 67108864
do
  # Clear kernel cache to ensure more accurate test
  [ $EUID -eq 0 ] && [ -e /proc/sys/vm/drop_caches ] && echo 3 > /proc/sys/vm/drop_caches

  # Read test file out to /dev/null with specified block size
  DD_RESULT=$(dd if=$TEST_FILE of=/dev/null bs=$BLOCK_SIZE 2>&1 1>/dev/null)

  # Extract transfer rate
  TRANSFER_RATE=$(echo $DD_RESULT | \grep --only-matching -E '[0-9.]+ ([MGk]?B|bytes)/s(ec)?')

  printf "$PRINTF_FORMAT" "$BLOCK_SIZE" "$TRANSFER_RATE"
done

# Clean up the test file if we created one
if [ $TEST_FILE_EXISTS -ne 0 ]; then rm $TEST_FILE; fi

在 GitHub 上查看

在这种情况下，一个重要的区别是测试文件是脚本写入的文件。不要将此命令指向现有文件，否则现有文件将被随机数据覆盖！

对于我的特定硬件，我发现 128K 是 HDD 上最优的输入块大小，而 32K 是 SSD 上最优的。

虽然这个答案涵盖了我的大部分发现，但我需要多次确定最佳 dd 块大小，因此我写道一篇博客文章关于它。您可以在那里找到有关我执行的测试的更多详细信息。

这个 StackOverflow 帖子可能也有用：dd：如何计算最佳块大小？

相关内容