通过进程替换同时运行的独立进程的非确定性输出

通过进程替换同时运行的独立进程的非确定性输出

bash v4.1.2(2),下面的简单语句仅作为演示问题的最小示例,给出了看似随机的输出:

$ for n in {0..1000}; do echo "$n"; done | 
  tee >(head -n2) >(sort -grk1,1 | head -n3) >/dev/null

而以下给出了一致的输出:

$ seq 0 10000 | tee >(head -n2) >(sort -grk1,1 | head -n3) >/dev/null

具体来说,对于第一个语句,该sort命令选择明显随机的连续三元组(例如,226,225,224;52,51,50;174,173,172;等等)。为了了解输出的异质性,可以多次运行有问题的命令,然后列出不同可能性的数量:

$ seq -w 0 2000 | while read x; do for n in {0..1000}; do echo "$n"; done | 
  tee >(head -n2) >(sort -grk1,1 | head -n3) >/dev/null | cat > "file_${x}"; done

计算各种输出的出现次数:

$ for f in file_*; do sort -g "$f" | tail -n3 | paste -sd, ; done  | 
  sort | uniq -c | sort -gk1,1 -k2,2
   1 7,8,9
   1 17,18,19
   1 40,41,42
   1 43,44,45
   1 47,48,49
   1 50,51,52
   1 54,55,56
   1 58,59,60
   1 59,60,61
   1 66,67,68
   1 71,72,73
   1 78,79,80
   1 103,104,105
   1 104,105,106
   1 106,107,108
   1 110,111,112
   1 111,112,113
   1 121,122,123
   1 125,126,127
   1 129,130,131
   1 134,135,136
   1 136,137,138
   1 142,143,144
   1 143,144,145
   1 148,149,150
   1 150,151,152
   1 156,157,158
   1 157,158,159
   1 165,166,167
   1 171,172,173
   1 173,174,175
   1 174,175,176
   1 177,178,179
   1 179,180,181
   1 181,182,183
   1 183,184,185
   1 185,186,187
   1 186,187,188
   1 191,192,193
   1 194,195,196
   1 198,199,200
   1 200,201,202
   1 206,207,208
   1 208,209,210
   1 209,210,211
   1 210,211,212
   1 216,217,218
   1 217,218,219
   1 233,234,235
   1 236,237,238
   1 237,238,239
   1 238,239,240
   1 242,243,244
   1 245,246,247
   1 246,247,248
   1 254,255,256
   1 256,257,258
   1 267,268,269
   1 270,271,272
   1 273,274,275
   1 277,278,279
   1 279,280,281
   1 287,288,289
   1 288,289,290
   1 305,306,307
   1 306,307,308
   1 307,308,309
   1 326,327,328
   1 337,338,339
   1 339,340,341
   1 340,341,342
   1 351,352,353
   1 357,358,359
   1 359,360,361
   1 365,366,367
   1 368,369,370
   1 370,371,372
   1 376,377,378
   1 377,378,379
   1 383,384,385
   1 386,387,388
   1 388,389,390
   1 401,402,403
   1 408,409,410
   1 409,410,411
   1 415,416,417
   1 419,420,421
   1 424,425,426
   1 426,427,428
   1 432,433,434
   1 454,455,456
   1 462,463,464
   1 466,467,468
   1 475,476,477
   1 482,483,484
   1 487,488,489
   1 504,505,506
   1 508,509,510
   1 511,512,513
   1 532,533,534
   1 538,539,540
   1 544,545,546
   1 548,549,550
   1 558,559,560
   1 603,604,605
   1 604,605,606
   1 608,609,610
   1 659,660,661
   1 660,661,662
   1 663,664,665
   1 668,669,670
   1 692,693,694
   1 699,700,701
   1 717,718,719
   1 738,739,740
   1 740,741,742
   1 750,751,752
   1 771,772,773
   1 784,785,786
   1 796,797,798
   1 799,800,801
   1 806,807,808
   1 814,815,816
   1 832,833,834
   1 848,849,850
   1 858,859,860
   1 869,870,871
   1 922,923,924
   1 952,953,954
   1 961,962,963
   1 985,986,987
   2 64,65,66
   2 127,128,129
   2 141,142,143
   2 169,170,171
   2 170,171,172
   2 172,173,174
   2 187,188,189
   2 221,222,223
   2 234,235,236
   2 252,253,254
   2 292,293,294
   2 350,351,352
   2 364,365,366
   2 375,376,377
   2 622,623,624
   2 666,667,668
   3 70,71,72
   3 102,103,104
   3 137,138,139
   3 155,156,157
1826 998,999,1000

表明结果的正确率约为 91%。>(head -n2)从语句中省略进程替换会tee导致输出 100% 正确。我不明白为什么竞争条件与解释问题相关,因为这只会影响语句中每个进程替换的输出的相对顺序tee(即,>(head -n2)可能首先完成或>(sort -grk1,1 | head -n3)可能这样做,但是这个应该只影响输出顺序,而不影响结果本身;如果两个命令的输出随机交错也是可以理解的)。因为应该将循环tee的相同副本分发给每个进程,并且因为两个进程替换都在单独的子 shell 中运行(stdoutstdin>()https://unix.stackexchange.com/a/331199/14960),任何一方都不应该影响另一方,但它们显然是相互作用的。如何解释交互作用?另外,如何将for/while循环的输出bash分配给多个独立的进程tee

答案1

head -n2读完两行后将退出。然后tee将在下次写入管道 to 时死亡(因 SIGPIPE)head,然后sort将看到 eof,因为tee在其自己的管道的另一端也消失了,并根据迄今为止收到的行进行排序。

您在循环中看到它而不是在 seq 中看到它的原因是循环write()在管道上执行了几个 s tee,并且根据时间,这可能会导致tee执行几次短读取。虽然seq会一次性写出整个输出,所以tee只会做一个read()。如果你这样做seq 1000000,你可能会看到随机的行为也是如此。

要解决这个问题,您需要一个head在输出前两行后继续读取的版本。例如,您可以使用 orsed '3,$d'代替。head -n2sed 2q

或者使用:

... | (
 trap '' PIPE
 exec tee >(trap - PIPE; exec head -n2) >(trap - PIPE; sort -rn | head -n2)
) > /dev/null

tee仅)忽略 SIGPIPE,但在某些tee实现中,您会因为write()管道失败而看到一些错误消息。

tee: /proc/self/fd/13: I/O error

请注意,虽然排序后的输出是可能追随未排序的,没有任何保证。更一般地说,除非有东西可以协调并发运行的程序,否则您无法真正保证它们的输出顺序。

相关内容