GNU Parallel 可以生成所有输入组合、复制 shell 函数并在 3 个远程服务器上运行它们,而不混合输出,如果失败则重试命令:
#!/bin/bash
env_parallel --session
process_output() {
perl -ne '$/=undef; $|=1; @a=split//;
while(@a){
print ".",shift @a;
select($a,$a,$a,0.100);
}';
}
env_parallel --retries 4 -Sserver{1..3},: \
'echo X={1} Y={2} Z={3} | process_output' \
::: "a' \"b"{1..3} ::: "c\" 'd"{3..4} ::: "e\$ f'"{7..8}
输出:
.X.=.a.'. . .".b.1. .Y.=.c.". . .'.d.3. .Z.=.e.$. . .f.'.7.
.X.=.a.'. . .".b.1. .Y.=.c.". . .'.d.3. .Z.=.e.$. . .f.'.8.
.X.=.a.'. . .".b.1. .Y.=.c.". . .'.d.4. .Z.=.e.$. . .f.'.7.
.X.=.a.'. . .".b.1. .Y.=.c.". . .'.d.4. .Z.=.e.$. . .f.'.8.
.X.=.a.'. . .".b.2. .Y.=.c.". . .'.d.3. .Z.=.e.$. . .f.'.7.
.X.=.a.'. . .".b.2. .Y.=.c.". . .'.d.3. .Z.=.e.$. . .f.'.8.
.X.=.a.'. . .".b.2. .Y.=.c.". . .'.d.4. .Z.=.e.$. . .f.'.7.
.X.=.a.'. . .".b.2. .Y.=.c.". . .'.d.4. .Z.=.e.$. . .f.'.8.
.X.=.a.'. . .".b.3. .Y.=.c.". . .'.d.3. .Z.=.e.$. . .f.'.7.
.X.=.a.'. . .".b.3. .Y.=.c.". . .'.d.3. .Z.=.e.$. . .f.'.8.
.X.=.a.'. . .".b.3. .Y.=.c.". . .'.d.4. .Z.=.e.$. . .f.'.7.
.X.=.a.'. . .".b.3. .Y.=.c.". . .'.d.4. .Z.=.e.$. . .f.'.8.
xargs -P$(nproc)
每个处理器可以运行一项作业。
给定
- 功能
process_output
, - 要运行的服务器(server1、server2、server3),
- 参数组 (
a' "b1, a' "b2, a' "b3
;c" 'd1, c" 'd2, c" 'd3
;e$ f'7, e$ f'8
)
如何使用服务器模拟 GNU Parallelxargs
来完成相同的任务?process_output