☰

random_source 文件的大小重要吗？

tag-icon • tag-icon sort coreutils random shuf
random_source 文件的大小重要吗？

一些 GNU coreutils 实用程序喜欢sort并shuf使用文件作为有效服务种子的东西。文件大小重要吗？

推荐的方式，https://www.gnu.org/software/coreutils/manual/html_node/Random-sources.html，使用基于openssl的方法，需要相当长的时间。

如果我只使用如下 6 个字母的单词会怎么样？这是否会影响所述实用程序创建伪随机性的能力？

shuf -i1-10 --random-source=<(echo durian)

答案1

如果您提供固定字符串作为随机源，那么它将以相同的方式“随机化”每一次。为了证明这一点，我们来测试一下。

$ printf '%s\n' a b c | shuf --random-source=<(echo durian)
b
c
a

在我的系统上，每次运行上述命令时的输出都是相同的。 （我怀疑它可能会有所不同，具体取决于实现，但每次都应该相同。）您正在对随机性进行硬编码，根据此 XKCD：

西科CD

这并不是真正随机的；而是随机的。它只是每次产生相同的输出。固定字符串源的大小无关紧要。它仍然是固定的。

里面有相关信息您提供的链接有关于随机的随机源的质量：

/dev/urandom足以满足大多数实际用途，但需要高价值或长期保护私有数据的应用程序可能需要备用数据源，例如/dev/random或/dev/arandom。

后两个选项比第一个选项“更加随机”。这意味着源越随机，洗牌就越随机。因此，固定字符串并不是特别稳健。

具体来说，与shuf固定字符串的长度有关。例如，以下失败。

shuf -i1-19 --random-source=<(echo durian)

但是，如果将输出限制为-n16，它可以工作，但-n17会失败。我测试了一些不同的单词和排列，当我减少源中的字符数时，最大值-n就会下降。

source length     max -n
7                 16
6                 13
5                 10
4                  8
3                  5
2                  3
1                  1
0                  0

我不确定直接关系，但大概额外的排序项目（在-n）需要更多源字符作为种子。然而，至少shuf，一旦超过了这个最小阈值，每个额外的字符对随机性本身没有任何影响。在上面的示例中，如果更改第 50 个字符，输出仍将相同。

答案2

是的，尺寸很重要shuf：尺寸必须与所需的尺寸一样randint_genmax()大https://github.com/coreutils/coreutils/blob/master/gl/lib/randint.c导出所使用的洗牌算法所需的所有随机数（每个数字可以从特定范围中选取）。这个尺寸取决于两者

  • 输入行数和
  • 随机源文件中的字节值。

如果更改随机源文件中的一个字节，它可能会更改总共需要的字节数。例如，如果需要 0-254 范围内的数字，则只要读取一个字节（如果恰好在此范围内）就足够了，但如果该字节是“\xff”（255 作为无符号 8 位整数），则至少读取一个字节还需要更多字节。

这可以用来构建一个即使提供了大量字节也失败的示例：

shuf -i1-10 --random-source=<(echo $'\xff\xff\xff\xff\xff\xff\xff\xff')
shuf: ‘/dev/fd/63’: end of file

只需三个字节“ab”+换行符就足够了：

shuf -i1-10 --random-source=<(echo ab) | md5sum
742a739ea959851f883ec692d6675cdf  -

为了提供带有种子的伪随机源，我没有找到仅命令行的解决方案，但至少这里是仅使用 bash 的草稿解决方案（请参阅下面的已知问题）：

(1) 辅助脚本seed-and-counter.sh：

#!/bin/bash
SEED="$1"
COUNTER=0
while true; do
    echo $SEED $COUNTER
    COUNTER=$((COUNTER+1))
done

(2) 辅助脚本bin-hash-lines.sh：

#!/bin/bash
echo "$1" | md5sum | cut -c-32 | xxd -r -p

(3) 将它们组合起来产生可再现的随机字节序列：

./seed-and-counter.sh 320 | xargs -d'\n' -n 1 ./bin-hash-lines.sh | hexdump -C | head
00000000  02 56 8b 68 34 78 bd 98  6e 8d 42 d2 cb 7b 8d b4  |.V.h4x..n.B..{..|
00000010  7d d8 23 b9 89 f8 29 5b  6c 51 fb 9f b3 74 1d 03  |}.#...)[lQ...t..|
00000020  bc 1d 62 81 31 0b 5d 82  8c cb 37 4a b8 bc 85 70  |..b.1.]...7J...p|
00000030  88 3d 57 ae ef 77 28 aa  3a cf f7 49 ed 00 37 21  |.=W..w(.:..I..7!|
00000040  45 55 39 94 3f 30 90 49  4f f0 04 d5 1e c5 0c 1e  |EU9.?0.IO.......|
00000050  e4 e8 8e 72 84 58 3c 03  66 e5 bd af fb 87 78 6b  |...r.X<.f.....xk|
00000060  b0 40 e4 cb 6f 78 c0 90  f8 e6 0d 73 89 fe 0a 98  |[email protected]....|
00000070  04 45 39 0c e6 32 ae 26  c5 13 0e ca fb e6 bc f2  |.E9..2.&........|
00000080  49 57 65 da 79 c1 4f 03  f7 97 ec 8c 72 59 cf ac  |IWe.y.O.....rY..|
00000090  64 d6 fe 87 6e 18 5e 81  2c 9b a3 6a b5 10 12 da  |d...n.^.,..j....|

(4) 使用它作为随机源：

shuf -i1-1000 --random-source=<(./seed-and-counter.sh 320 | xargs -d'\n' -n 1 ./bin-hash-lines.sh) | tail
430
854
890
580
441
960
944
332
687
703

已知问题：帮助程序脚本和xargs命令似乎继续运行。

相关内容