太阳操作系统5.8
目录结构
/测试/CHM
CHM
A
file1.txt
file2.txt
B
file3.txt
C
file4.txt
file5.txt
file6.txt
如果父目录 CHM 的文件/子目录少于 8 个,则正常压缩。如果父目录 CHM 有 8 个或更多文件/子目录,则为 5 个文件创建一个 zip 存档。这仅用于测试。在生产中,它将是 10000 个文件,而不是 5 个。父目录 CHM 可以有 0 到 n 个子目录。
#!/bin/bash
set -e
cd $subdir/
# vars
num=8 # set 10000 in production
for dir in $subdir
do
dir=${dir%*/}
# testing code only
if [[ ${dir##*/} = "CHM" ]]
then
numfile=$(ls * | wc -l)
fi
if [ "$numfile" -lt "$num" ]
then
zip -r -6 ${dir##*/}.zip .
else
ls * > files
split -l 5 - files < files
for i in files[a-z][a-z]; do
zip -6 "$i.zip" -@ < "$i"
done
fi
# end test
done
exit
zip warning: name not matched: A:
zip warning: name not matched: file1.txt
zip warning: name not matched: file2.txt
zip warning: name not matched: B:
zip error: Nothing to do! (filesaa.zip)
第二个 if 语句的 else 部分失败了,我不知道为什么。我正在寻找创建:
CHM.zip master
CHM.001.zip
CHM.002.zip
CHM.003.zip
因此我可以在远程服务器上按相同的顺序解压缩。
答案1
我不完全确定我完全遵循了您的规则,但使用标准实用程序可能更容易(并简化创建内容和何时创建的规则):
find . -type f | split -d -a3 -l $num --filter='zip -@ $FILE.zip' - "$pfx".
find
相当明显,根据您的喜好调整选项。您可能希望在将其输出传递给 之前对列表进行排序split
。
split
:
- d
- 使用数字代替字母后缀-a3
- 后缀长度(编号) 3 位(本例中为数字)-l
- 增加计数器后的行数--filter=COMMAND
- 将行传递给命令而不是写入文件COMMAND
-$FILE
被解释为split
通常用于写入的文件名,这意味着它必须用单引号引起来(或反斜杠以防止执行上述命令行的 shell 进行解释)-
- 明确要求解析标准输入"$pfx".
您的首选前缀。该点是故意的,split
不会自动附加它。
答案2
我有适用于 Sun Solaris 的解决方案。这将每个多部分 zip 压缩 10000 个文件,并将主 zip scp 到远程服务器。
#!/usr/bin/env bash
#
#------------------------------------------------------------
#-- Zip up content files based on $1 parameter
#------------------------------------------------------------
function zip_files {
SRC="/ads/data02/CTS/Data/$1"
#-- destination folder
DST="/ads/acct/oracle/CTS"
#-- amount of files that should go in each zip file
FILES_PER_ZIP=10000
#-----------------------------------------------------------
FILES="/tmp/multizip.$$"
ZIP_PREFIX=$(basename $SRC)
#-- generate the list of the files to zip
find $SRC > $FILES
#-- zip the files
NUM=0
ZIP_NUM=1
printf -v ZIPFILE "$DST/$ZIP_PREFIX%03d" $ZIP_NUM
while read -r line; do
echo $line | sed -e 's/.*/"&"/' | xargs zip -6 $ZIPFILE
((NUM++))
if [ $NUM -eq $FILES_PER_ZIP ]; then
NUM=0
((ZIP_NUM++))
printf -v ZIPFILE "$ZIP_PREFIX%03d" $ZIP_NUM
fi
done < $FILES
#-- generate master zip file
/usr/bin/ls $DST/${ZIP_PREFIX}*.zip | xargs zip $DST/$ZIP_PREFIX
#-- perform cleanup
function finish {
/usr/bin/rm $FILES
/usr/bin/rm /ads/acct/oracle/CTS/${ZIP_PREFIX}[0-9][0-9][0-9].zip
}
trap finish EXIT
}
#------------------------------------------------------------
#-- Main processing
#------------------------------------------------------------
for dir in /ads/data02/CTS/Data/*/
do
d=$(basename $dir)
zip_files $d
scp "/ads/acct/oracle/CTS/${d}.zip" [email protected]:/var/www/html/CTS/Content/A/TMP
/usr/bin/rm -f "/ads/acct/oracle/CTS/${d}.zip"
done
exit