我有一个压缩文件Data.zip
(如果未压缩)包含许多文件:
file_1.txt
file_2.txt
...
...
我想要一个 CLI 命令将其变成一个Data_zipped
包含Data.zip
未压缩的各个文件的新文件夹:
Data_zipped/file_1.zip
Data_zipped/file_2.zip
...
...
但诀窍在于它Data.zip
包含如此多的文件(而且它们加起来如此之大),以至于我无法先解压缩 Data.zip,然后再一次性压缩其中的各个文件:这一切都必须“即时”进行:
对于所有文件Data.zip/
- 获取第 i 个文件
- 压缩成
name_of_that_file.zip
- 将压缩文件存储在新文件夹中
Data_zipped
如何使用 CLI 来实现这一点?
我修改了@George 的超清晰的脚本有助于更好地解释文件夹结构:
#!/bin/bash
#Name of zip file
filename=$1
# Check if valid zip file is passed
if [[ $(file "$filename" | grep -o "Zip archive data") =~ "Zip archive data" ]]
then
# List the contents of the zip file
unzip -l "$filename"
# Get the number of files in zip file
count=$(unzip -l "$filename" | awk '{count = $2 - 2} END {print count}')
echo "$count"
fi
exit 0
当我运行它时,我得到(我使用一个只有几个文件的令牌 Data.zip,但你明白我的意思):
./GU_script.sh Data.zip
Archive: Data.zip
Length Date Time Name
--------- ---------- ----- ----
0 2017-11-21 22:58 Data/
120166309 2017-11-21 14:58 Data/Level1_file.csv
120887829 2017-11-21 14:58 Data/Level1_other_file.csv
163772796 2017-11-21 14:59 Data/Level1_yet_other_file.csv
193519556 2017-11-21 14:59 Data/Level1_here_is_another_file.csv
153798779 2017-11-21 14:59 Data/Level1_so_many_files.csv
131918225 2017-11-21 14:59 Data/Level1_many_more_to_go.csv
--------- -------
884063494 7 files
5
所以基本上,我希望Level1_file.csv
将其他文件单独压缩(-> Level1_file.zip)并放在一个文件夹中。
编辑2;
我最终结合了@George 和@David Foerster 的答案:
#!/bin/bash
#Name of zip file
filename="$1"
# Check if valid zip file is passed
if file "$filename" | grep -wq "Zip archive data";
then
#!/bin/bash
src="$filename"
dst=.
LC_ALL=C unzip -l "$src" |
sed -re '1,/^-{6}/d; /^-{6}/,$d; /\/$/d; s/^\s*(\S+\s+){3}//' |
while IFS= read -r f; do
out="${f##*/}"; out="$dst/${f%%/*}_zipped/${out%.*}.zip"
if [ ! -d "${out%/*}" ]; then
mkdir -p "${out%/*}" || break
fi
zip --copy "$src" --out "$out" "$f" || break
done
else
echo "Invalid file type: \"zip\" file required"
exit 1
fi
答案1
您可以使用“复制”操作zip(1)
以及一些文件路径修改。它的优点是可以将压缩数据流直接复制到目标档案,而无需间歇性解压。
#!/bin/bash
src=Data.zip
dst=.
LC_ALL=C unzip -l "$src" |
sed -re '1,/^-{6}/d; /^-{6}/,$d; /\/$/d; s/^\s*(\S+\s+){3}//' |
while read -r f; do
out="${f##*/}"; out="$dst/${f%%/*}_zipped/${out%.*}.zip"
if [ ! -d "${out%/*}" ]; then
mkdir -p "${out%/*}" || return
fi
zip --copy "$src" --out "$out" "$f" <&- || return
done
我添加了LC_ALL=C
调用,unzip
因为它的输出格式在不同的实现中看起来有点不稳定,并且我想至少避免依赖于语言环境的输出变体。
答案2
这应该可以做你想做的事:
#!/bin/bash
#Name of zip file
filename="$1"
# Check if valid zip file is passed
if file "$filename" | grep -wq "Zip archive data";
then
# List the contents of the zip file
unzip -l "$filename"
# Make the destination folder
# after checking they don't exist
if [ ! -d Data_zipped ];
then
mkdir Data_zipped
fi
#make temporary folder
#for extracted files
tempdir=$(mktemp -d)
# Make temporary file to hold the filenames
mysrc=$(mktemp)
# Get the filesnames from the zip folder
unzip -c Data.zip | cut -d" " -f3- | grep -E -o "[^Data/].*" | grep -Ev \(.zip\) | sed '/^\s*$/d' > "$mysrc"
while read -r var;
do
unzip -j "$filename" "Data/$var" -d "$tempdir/"
# Get name of file from each read line
zip Data_zipped/"$var".zip "$tempdir/$var"
# remove the original file
rm -rf "$tempdir/${var:?}"
done < "$mysrc"
else
echo "Invalid file type: \"zip\" file required"
exit 1
fi
笔记:
使用的树结构:
Data
├── file_10.txt
├── file_1.txt
...
答案3
你有没有考虑过研究融合文件系统并支持 zip?
这基本上将 zip 文件公开为常规目录,任何应用程序都可以打开并从中读取文件,而 fuse 库则处理读取和写入压缩流的脏乱细节。
在 Ubuntu 上你可以使用以下命令安装它sudo apt install fuse-zip
安装 fuse-zip 后,您可以使用 挂载 zip 文件fuse-zip /path/to/some.zip mnt/
,其中 mnt 是您选择的空目录。
完成后,使用 卸载它fusermount -u mnt/
,其中 mnt 是您挂载它的目录。
如果不存在的话,fuse-zip 甚至会为您动态创建 zip。
答案4
您可以逐个解压Data.zip中包含的文件:
unzip Data.zip file1.txt
然后压缩它们。
mkdir Data_unzipped
for i in `seq 1 100` # or whatever the number of your files is
do
unzip Data.zip file_${i}.txt
zip Data_unzipped/file_${i}.zip file_${i}.txt
rm file_${i}.txt
done