如何合并两个大小不均匀的排序命名管道？

Question

显然，当您向两个命名管道写入不同数量的数据时，您的程序会产生死锁。您的程序在writefor 1 fifo2 上阻塞（缓冲区已满），而sort进程在 for fifo1 上阻塞read（缓冲区为空）。

你不知道如何sort实现。它可能希望以更大的块读取文件，然后处理内存中的数据以提高效率。如果使用读取数据的sort函数，缓冲甚至可能会自动发生。stdio.h

命名（和未命名）管道使用数据缓冲区。
如果缓冲区已满，写入进程将阻塞，直到读取进程读取了一些数据或关闭其末尾。
如果缓冲区为空，则读取进程将阻塞，直到写入进程写入一些数据或结束为止。

如果在每个周期中向 fifo1 写入一行，向 fifo2 写入两行，则会填满 fifo2 的缓冲区，而 fifo1 的缓冲区仅填满一半。

根据您的程序向 fifo 写入的数据量以及sort想要读取的数据量，这显然会导致这样的情况：您sort想要从 fifo1 读取某些内容，而该程序只有一个空缓冲区，而您的程序想要写入带有完整缓冲区的 fifo2 。

结果是确定性的，因为管道缓冲区具有固定大小，并且您的程序也可能具有固定大小并sort使用固定缓冲区大小来读取或写入数据。

您可以查看 GNU 的源代码sort：
https://github.com/wertarbyte/coreutils/blob/master/src/sort.c

一开始，它尝试使用 function 在所有文件的循环中填充所有输入文件的输入缓冲区fillbuf。

稍后在某些情况下它会fillbuf再次调用输入文件。

函数中fillbuf有一条注释

          /* Read as many bytes as possible, but do not read so many
             bytes that there might not be enough room for the
             corresponding line array.  The worst case is when the
             rest of the input file consists entirely of newlines,
             except that the last byte is not a newline.  */

显然sort选择一个输入文件并需要一定量的数据。如果读取阻塞，它不会切换输入文件。

该实现对于普通文件效果很好，因为read操作会在一段时间后返回一些数据或 EOF，因此它不会永久阻塞。

如果有不止一件事可以在两个进程/线程之间阻塞，那么总是很难避免死锁。在您的情况下，您应该只使用一根管道。如果您总是有数据要写入 fifo1（如果 fifo2 会阻塞），则使用非阻塞操作可能会有所帮助，反之亦然。

如果您使用两个单独的线程/进程写入管道，则使用两个管道可能会起作用，但前提是线程/进程彼此独立工作。如果应该写入 pipeline1 的线程 A 以某种方式等待线程 B（该线程 B 只在写入 pipeline2 时阻塞），这将无济于事。

Answer 1