程序在多个文件上并行执行

Question 1

这是可能的，并且在现实中确实发生了。用一个锁定文件以避免这种情况。一个例子，来自上述页面：

if mkdir /var/lock/mylock; then
    echo "Locking succeeded" >&2
else
    echo "Lock failed - exit" >&2
    exit 1
fi

# ... program code ...

rmdir /var/lock/mylock

Answer

这是可能的，并且在现实中确实发生了。用一个锁定文件以避免这种情况。一个例子，来自上述页面：

if mkdir /var/lock/mylock; then
    echo "Locking succeeded" >&2
else
    echo "Lock failed - exit" >&2
    exit 1
fi

# ... program code ...

rmdir /var/lock/mylock

Question 2

脚本的两个实例当然可以以这种方式交互，导致命令运行两次。这被称为竞争条件。

避免这种竞争情况的一种方法是每个实例通过将其移动到另一个目录来获取其输入文件。移动文件（在同一文件系统内）是原子。移动输入文件可能并不理想，而且这已经变得有点复杂了。

mkdir staging-$$ making-$$
for input in folder/*; do
  name=${x#folder/}
  staging=staging-$$/$name
  output=making-$$/$name
  destination=done/$name
  if mv -- "$input" "$staging" 2>/dev/null; then
    bin/myProgram "$staging" >"$output"
    mv -- "$output" "$destination"
    mv -- "$staging" "$input"
  fi
done

使用广泛可用的工具并行处理文件的一种简单方法是GNU 使，使用-j并行执行标志。这是此任务的 makefile（记住使用制表符缩进命令）：

all: $(patsubst folder/%,done/%,$(wildcard folder/*))
done/%: folder/%
        ./bin/myProgram $< >[email protected]
        mv [email protected] $@

运行make -j 3以并行运行 3 个实例。

也可以看看并行执行四个任务...我该怎么做？

Answer

脚本的两个实例当然可以以这种方式交互，导致命令运行两次。这被称为竞争条件。

避免这种竞争情况的一种方法是每个实例通过将其移动到另一个目录来获取其输入文件。移动文件（在同一文件系统内）是原子。移动输入文件可能并不理想，而且这已经变得有点复杂了。

mkdir staging-$$ making-$$
for input in folder/*; do
  name=${x#folder/}
  staging=staging-$$/$name
  output=making-$$/$name
  destination=done/$name
  if mv -- "$input" "$staging" 2>/dev/null; then
    bin/myProgram "$staging" >"$output"
    mv -- "$output" "$destination"
    mv -- "$staging" "$input"
  fi
done

使用广泛可用的工具并行处理文件的一种简单方法是GNU 使，使用-j并行执行标志。这是此任务的 makefile（记住使用制表符缩进命令）：

all: $(patsubst folder/%,done/%,$(wildcard folder/*))
done/%: folder/%
        ./bin/myProgram $< >[email protected]
        mv [email protected] $@

运行make -j 3以并行运行 3 个实例。

也可以看看并行执行四个任务...我该怎么做？

Question 3

我有一种感觉，您确实在尝试并行运行多个作业，而锁定文件只是达到目的的一种手段。

如果您有 GNU Parallelhttp://www.gnu.org/software/parallel/安装后你可以这样做：

parallel ./bin/myProgram ::: ./folder/*

它将在每个核心上并行运行 myProgram。

您可以简单地通过以下方式安装 GNU Parallel：

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

观看 GNU Parallel 的介绍视频以了解更多信息： https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Answer