拆分文件并将拆分部分作为文件传递,而不是通过管道传递到标准输入

拆分文件并将拆分部分作为文件传递,而不是通过管道传递到标准输入

如何获取文件(seq 1000000),将其拆分为多个较小的文件,然后将其作为文件而不是管道传递到进程中?即

parallel -a <(seq 1000000) -j 6 -l 10000 <what here?> /root/someProcess

someProcess处理该部分如下:

/root/someProcess <(seq 500)

即它将文件作为参数并对其进行处理。

答案1

<(seq 1000000)不是常规文件。它创建一个只能读取一次的 fifo。

要与 GNU Parallel 一起使用,请使用--pipe

seq 1000000 | parallel --pipe ...

另一方面,如果你有一个普通的大文件,看看拆分文件并将拆分部分作为标准输入传递

相关内容