通过 Unix shell 脚本 -hdfs 文件复制避免累积和

通过 Unix shell 脚本 -hdfs 文件复制避免累积和

我们正在将 Hdfs 目录(包含文件)从 1 个位置复制到其他位置,但只有 1 个目标目录。对于第一次迭代,它给出了正确的文件大小计数和文件计数,因为第一次目标目录没有任何以前的文件。但对于第二次迭代,它给出累积加法,即(包括第一次迭代的计数)。

如何根据最新的文件副本进行计数或避免累积总和/计数

当我们只是使用时,如何避免累积总和和计数

hdfs dfs -count "{destination}"

命令。

相关内容