我有超过一百万个文件。我必须继续处理它们。
我的文件的目录层次结构如下所示
source=/opt/output/renamed/
target=/opt/output/combine
send=/opt/output/send/combined
首先,我必须从源 (/opt/output/renamed) 目录循环 1000 个文件,并按文件名对它们进行分组。
文件名==> ORACLE_gprtcp_201209221454_312312.log.gz
第一列和第二列并不那么重要。但我必须按第三个字段(时间戳)对它们进行分组。
而且必须以三十分钟为单位进行分组。例如,有两个文件如下
1.ORACLE_gprtcp_201209231632_987546.log.gz
2.ORACLE_gprtcp_201209231612_123876.log.gz
3.ORACLE_gprtcp_201209231602_987546.log.gz
4.ORACLE_gprtcp_201209231644_987546.log.gz
5.ORACLE_gprtcp_201209231647_987546.log.gz
6.ORACLE_gprtcp_201209231601_987546.log.gz
第一组时间间隔必须在三十分钟以内
例如,第一个分组文件是
2、3、6 档(前三十分钟) 1,4、5 档(后三十分钟)
我尝试写一个像这样的脚本
#!/bin/bash
sourceFolder="/opt/rename/"
limitCount=10 # Limit for send file count for per process
renamed="/opt/combine"
target="/opt/send/combined/"
for sf in ${sourceFolder}; do
fileList=$(find ${sf} -type f -name "*.gz" | sort -t '_' -k3 | head -${limitCount} )
for filePath in $(echo "${fileList}"); do
fileName=$(basename ${filePath}) # source file name
dirName=$(dirname ${filePath}) # source dir name
#timeRef=$(echo ${fileName} | cut -d '_' -f 3 | sed 's/\(.\{11\}\).*/\1/')
timeRef=$(echo ${fileName} | cut -d '_' -f 3 | cut -c-11)
#time ref : ORACLE_gprtcp_20120923012703_3431593.log.gz
if [ "${sf}" == "/opt/rename/" ]; then ##### combine
#Move files to under /opt/combine/ to process files in the fastest way
mv ${filePath} ${renamed}
timeRef30="${group} | cut -d '_' -f 3 | sed 's/\(.\{10\}\).*/\1/')"
echo $timeRef30
for files in $(find ${renamed} -name "*${timeRef}*" | uniq)
do
fileGroup=$(echo $files | sort -t '_' -k 3 )
first=$(echo ${fileGroup} | head -1 | cut -d '_' -f 4 | cut -d '.' -f 1)
last=$(echo ${fileGroup} | tail -1 | cut -d '_' -f 4 | cut -d '.' -f 1)
for group in ${fileGroup}
do
timeInt=$(echo ${group} | cut -d '_' -f 3 | sed 's/\(.\{10\}\).*/\1/')
zcatBaseName=$(dirname ${group}) #/opt/rename/
zcatName=$(basename ${group})
zcatUniq=$(echo ${group}| cut -d '_' -f 4 | cut -d '.' -f 1)
newName=$(echo ${targetNAT}/ORACLE_gprtcp_${timeInt}000_${first}${last}.log)
sleep 1
echo "starting to zcat all files ${fileGroup}"
zcat -f $(echo ${fileGroup}) >> "/opt/combine/ORACLE_gprtcp_${timeInt}000_${first}${last}.log"
gzip "/opt/infolog/output/iotest/24/combine/ORACLE_gprtcp_${timeInt}000_${first}${last}.log"
rm -f $(echo ${fileGroup})
sleep 4
done
done
fi
done
done
有没有人可以给我一个建议,告诉我如何在三十分钟内成功地将文件分组并将它们 zcat 到新文件中?
提前致谢
答案1
不幸的是,我没有时间给你完整的答案,只能提供一些可能有帮助的提示。
我只是打印出相关文件并根据 Unix 时间对它们进行排序(发现比正常/人类可读时间更好):
find $PWD -type f -printf '%T@ %p\n' | sort -nb
那么您可以存储 30 分钟组中第一个成员的 Unix 时间作为 30 分钟开始时间的参考点,计算与当前文件的 Unix 时间戳的差异(如果 > 1800),然后创建新组,否则添加到当前组。沿着这些思路:
#!/bin/bash
#1800 s = 30 min
#unix time 86400s = 1 day
fileList=$(find $PWD -type f -printf '%T@ %p\n' | sort -nb)
## for debugging:
# fileList=$(find $PWD -type f -printf '%T@ %t %p\n' | sort -nb)
org_IFS=$IFS
IFS=$'\n'
group_start_time=0
for line in $fileList; do
current_time=$(echo $line | awk '{print $1}')
if [ $group_start_time -eq 0 ] ; then
group_start_time=$current_time
else
delta=$(($current_time - $group_start_time))
#echo $delta
if [ $delta -lt 1801 ] ; then
echo $line
else
echo -e "\nnew group:\n$line"
group_start_time=$current_time
fi
fi
done
IFS=$org_IFS
从那里您可以将文件路径重定向到您想要的任何文件(使用>>)。然后mv
在该文件列表上运行到各自的目录。
我希望这能有所帮助。 :)
编辑:我已经修改了脚本,以便它将 log.gz 文件组写入/opt/rename/
目标目录(我假设是您的/opt/send/combined/
目录)中源(您的)中的文件。下面是修改后的代码:
#!/bin/bash
#1800 s = 30 min
#unix time 86400s = 1 day
sourceFolder="/opt/rename/"
target="/opt/send/combined/"
path_to_file=$target
current_file="ORACLE_gprtcp_000.log.gz"
fileList=$(find $sourceFolder -type f -name '*.log.gz' -printf '%T@ %p\n' | sort -nb)
## for debugging:
# fileList=$(find $PWD -type f -printf '%T@ %t %p\n' | sort -nb)
echo ${fileList[0]}
org_IFS=$IFS
IFS=$'\n'
group_start_time=0
for line in $fileList; do
current_time=$(echo $line | awk '{print $1}')
if [ $group_start_time -eq 0 ] ; then
group_start_time=$current_time
hr_time=$( date -d @$current_time +%F_%0k%0M )
current_file="ORACLE_gprtcp_"$hr_time".log.gz"
else
delta=$(($current_time - $group_start_time))
#echo $delta
if [ $delta -lt 1801 ] ; then
# just append file path to current_file
echo $line | awk '{print $2}' >> $path_to_file"/"$current_file
echo $line
else
# construct new filename based on time of the first member of the group
hr_time=$( date -d @$current_time +%F_%0k%0M )
current_file="ORACLE_gprtcp_"$hr_time".log.gz"
# create file, append file path to current_file
echo $line | awk '{print $2}' >> $path_to_file"/"$current_file
echo -e "\nnew group:\n$line"
group_start_time=$current_time
fi
fi
done
IFS=$org_IFS
答案2
假设文件名中没有“\n”字符:
find . -name '*_*_[0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9]_*.gz' | perl -le '
use strict;
use warnings;
my %hash;
while(<>) {
chomp;
my($group)=/^([^_]+_[^_]+_[0-9]{11})/;
$group=~s/[0-2]$/00/;
$group=~s/[3-5]$/30/;
push @{$hash{$group}},$_;
}
while(my($group,$files_arr_ref)=each%hash) {
print "processing group $group";
for my$file (sort @{$files_arr_ref}) {
print "processing file $file";
# do system command calls here; for example
# system "gzip -cd \"$file\" >> $group.txt";
}
}
'
编辑:根据克雷格的建议进行了一些更改。第一个想法只是使用 perl 来处理数组和散列,最后一切都更清晰了。 @ARGV 是要传递查找的路径列表。例如,如果脚本名称是 script.pl :
script.pl ${sourceFolder}
#!/usr/bin/perl
use strict;
use warnings;
use File::Find;
my %hash;
sub wanted {
return unless /^([^_]+_[^_]+_[0-9]{11})/;
my$group=$1;
$group=~s/[0-2]$/00/;
$group=~s/[3-5]$/30/;
push @{$hash{$group}},$_;
}
File::Find::find(\&wanted, @ARGV);
while(my($group,$files_arr_ref)=each%hash) {
print "processing group $group\n";
### do system command calls here; for example
# system "rm $group.txt";
### or just use perl
# unlink $group.'.txt';
for my$file (sort @{$files_arr_ref}) {
print "processing file $file\n";
### and other system command calls here; for example
# system "gzip -cd $file >> $group.txt";
}
### and here; for example
# system "gzip $group.txt";
}