如何获取文件(seq 1000000
),将其拆分为多个较小的文件,然后将其作为文件而不是管道传递到进程中?即
parallel -a <(seq 1000000) -j 6 -l 10000 <what here?> /root/someProcess
将someProcess
处理该部分如下:
/root/someProcess <(seq 500)
即它将文件作为参数并对其进行处理。
答案1
<(seq 1000000)
不是常规文件。它创建一个只能读取一次的 fifo。
要与 GNU Parallel 一起使用,请使用--pipe
:
seq 1000000 | parallel --pipe ...
另一方面,如果你有一个普通的大文件,看看拆分文件并将拆分部分作为标准输入传递