![在 HPC 作业中提交 HPC 作业](https://linux22.com/image/138929/%E5%9C%A8%20HPC%20%E4%BD%9C%E4%B8%9A%E4%B8%AD%E6%8F%90%E4%BA%A4%20HPC%20%E4%BD%9C%E4%B8%9A.png)
我有一个依赖输入参数(使用 getopts)的大型脚本。这些参数之一是包含文件的目录(全部名为 *bam) 该脚本有 2 个部分:
- 第1部分:根据输入的*bam文件,计算一个具体数字。需要明确的是,结果是一个数字,而不是每个文件一个数字。
- 第 2 部分:使用第 1 部分中找到的数字,对每个 *bam 文件执行一系列操作。
现在,从计算角度来看,第 1 部分最初非常快。所以我的设置是:
- 在终端上运行脚本:bash script.sh
- 在 script.sh 中,对于第 2 部分,为每个文件提交 HPC 作业
然而,现在我需要分析比最初计划更多的文件,我意识到第 1 部分的计算量也很大 - 因此我还需要在 HPC 上运行它。
所以我的问题是:
- 是否可以提交一个在其中提交作业的 HPC 作业?
- 换句话说,我可以将 script.sh 作为作业提交,并且仍然让它在其第 2 部分中提交作业吗?
需要明确的是,这里是我的脚本的示例:
#!/usr/bin/bash
# PART 0: accept all input arguments
USAGE() { echo "Usage: bash $0 [-b <in-bam-files-dir>] [-o <out-dir>] [-c <chromlen>]" 1>&2; exit 1; }
if (($# == 0)); then
USAGE
fi
# Use getopts to accept each argument
while getopts ":b:o:c:h" opt
do
case $opt in
b ) BAMFILES=$OPTARG
;;
o ) OUTDIR=$OPTARG
;;
c ) CHROMLEN=$OPTARG
;;
h ) USAGE
;;
\? ) echo "Invalid option: -$OPTARG exiting" >&2
exit
;;
: ) echo "Option -$OPTARG requires an argument" >&2
exit
;;
esac
done
# PART1: calculate this unique number
NUMBER=0
for i in $(ls $BAMFILES/*.bam)
do
make some calculations on each file to obtain a number ...
keep only the smallest found number and assign its value to $NUMBER
done
echo "Final number is ${NUMBER} "
# PART2: Using $NUMBER that we found above, submit a job for each *bam file
for i in $(ls $BAMFILES/*bam)
do
if [ ! -f ${OUTDIR}/${SAMPLE}.bw ];
then
command=" command -options -b $NUMBER $i"
echo $command | qsub -V -cwd -o $OUTDIR -e $OUTDIR -l tmem=6G -l h_vmem=6G -l h_rt=3600 -N result_${SAMPLE}
fi
done
答案1
答案是“这取决于”。您的 HPC 集群可以设置为让执行节点能够提交作业,但这不是必需的。听起来像向您当地的 HPC 管理员提出一个简短的问题会给您一个明确的答案。或者您可以尝试一个快速脚本,该脚本除了提交第二个作业外什么都不做,看看它是否有效。