我想提取两个时间戳之间的所有日志。有些行可能没有时间戳,但我也想要这些行。简而言之,我想要属于两个时间戳的每一行。我的日志结构如下:
[2014-04-07 23:59:58] CheckForCallAction [ERROR] Exception caught in +CheckForCallAction :: null
--Checking user--
Post
[2014-04-08 00:00:03] MobileAppRequestFilter [DEBUG] Action requested checkforcall
假设我想提取2014-04-07 23:00
和之间的所有内容2014-04-08 02:00
。
请注意,日志中可能不存在开始时间戳或结束时间戳,但我想要这两个时间戳之间的每一行。
答案1
您可以awk
为此使用:
$ awk -F'[]]|[[]' \
'$0 ~ /^\[/ && $2 >= "2014-04-07 23:00" { p=1 }
$0 ~ /^\[/ && $2 >= "2014-04-08 02:00" { p=0 }
p { print $0 }' log
在哪里:
-F
使用正则表达式指定字符[
和作为字段分隔符]
$0
引用完整的行$2
引用日期字段p
用作保护实际打印的布尔变量$0 ~ /regex/
如果正则表达式匹配则为 true$0
>=
用于按字典顺序比较字符串(相当于egstrcmp()
)
变化
上面的命令行实现了右开时间间隔匹配。要获得闭区间语义,只需增加正确的日期,例如:
$ awk -F'[]]|[[]' \
'$0 ~ /^\[/ && $2 >= "2014-04-07 23:00" { p=1 }
$0 ~ /^\[/ && $2 >= "2014-04-08 02:00:01" { p=0 }
p { print $0 }' log
如果您想匹配其他格式的时间戳,则必须修改$0 ~ /^\[/
子表达式。请注意,它过去常常忽略打印开/关逻辑中没有任何时间戳的行。
例如,对于像YYYY-MM-DD HH24:MI:SS
(不带[]
大括号)这样的时间戳格式,您可以像这样修改命令:
$ awk \
'$0 ~ /^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-2][0-9]:[0-5][0-9]:[0-5][0-9]/
{
if ($1" "$2 >= "2014-04-07 23:00") p=1;
if ($1" "$2 >= "2014-04-08 02:00:01") p=0;
}
p { print $0 }' log
(请注意,字段分隔符也已更改 - 为空白/非空白过渡,默认值)
答案2
退房时间dategrep
为https://github.com/mdom/dategrep
描述:
dategrep 在指定输入文件中搜索与日期范围匹配的行并将其打印到标准输出。
如果 dategrep 在可查找文件上工作,它可以进行二分搜索来找到第一行和最后一行,从而非常有效地打印。如果文件名参数只是一个连字符,dategrep 也可以从标准输入读取,但在这种情况下,它必须解析每一行,这会比较慢。
用法示例:
dategrep --start "12:00" --end "12:15" --format "%b %d %H:%M:%S" syslog
dategrep --end "12:15" --format "%b %d %H:%M:%S" syslog
dategrep --last-minutes 5 --format "%b %d %H:%M:%S" syslog
dategrep --last-minutes 5 --format rsyslog syslog
cat syslog | dategrep --end "12:15" -
尽管此限制可能使其不适合您的具体问题:
目前 dategrep 一旦发现不可解析的行就会死掉。在未来的版本中,这将是可配置的。
答案3
一种替代工具awk
或非标准工具是使用 GNUgrep
进行上下文 grep。 GNUgrep
将允许您指定要打印的正匹配之后的行数-A
以及要打印的前面的行数-B
例如:
[davisja5@xxxxxxlp01 ~]$ cat test.txt
Ignore this line, please.
This one too while you're at it...
[2014-04-07 23:59:58] CheckForCallAction [ERROR] Exception caught in +CheckForCallAction :: null
--Checking user--
Post
[2014-04-08 00:00:03] MobileAppRequestFilter [DEBUG] Action requested checkforcall
we don't
want these lines.
[davisja5@xxxxxxlp01 ~]$ egrep "^\[2014-04-07 23:59:58\]" test.txt -A 10000 | egrep "^\[2014-04-08 00:00:03\]" -B 10000
[2014-04-07 23:59:58] CheckForCallAction [ERROR] Exception caught in +CheckForCallAction :: null
--Checking user--
Post
[2014-04-08 00:00:03] MobileAppRequestFilter [DEBUG] Action requested checkforcall
上面的内容本质上是告诉grep
打印与您想要开始的模式匹配的行后面的 10,000 行,有效地使您的输出从您想要的位置开始并一直到结束(希望),而第二个egrep
在pipeline 告诉它只打印带有结束分隔符的行及其前面的 10,000 行。这两个的最终结果是从你想要的地方开始,而不是经过你告诉它停止的地方。
10,000 只是我想出的一个数字,如果您认为输出太长,请随意将其更改为 100 万。
答案4
使用 sed :
#!/bin/bash
E_BADARGS=23
if [ $# -ne "3" ]
then
echo "Usage: `basename $0` \"<start_date>\" \"<end_date>\" file"
echo "NOTE:Make sure to put dates in between double quotes"
exit $E_BADARGS
fi
isDatePresent(){
#check if given date exists in file.
local date=$1
local file=$2
grep -q "$date" "$file"
return $?
}
convertToEpoch(){
#converts to epoch time
local _date=$1
local epoch_date=`date --date="$_date" +%s`
echo $epoch_date
}
convertFromEpoch(){
#converts to date/time format from epoch
local epoch_date=$1
local _date=`date --date="@$epoch_date" +"%F %T"`
echo $_date
}
getDates(){
# collects all dates at beginning of lines in a file, converts them to epoch and returns a sequence of numbers
local file="$1"
local state="$2"
local i=0
local date_array=( )
if [[ "$state" -eq "S" ]];then
datelist=`cat "$file" | sed -r -e "s/^\[([^\[]+)\].*/\1/" | egrep "^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}"`
elif [[ "$state" -eq "E" ]];then
datelist=`tac "$file" | sed -r -e "s/^\[([^\[]+)\].*/\1/" | egrep "^[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}"`
else
echo "Something went wrong while getting dates..." 1>&2
exit 500
fi
while read _date
do
epoch_date=`convertToEpoch "$_date"`
date_array[$i]=$epoch_date
#echo "$_date" "$epoch_date" 1>&2
(( i++ ))
done<<<"$datelist"
echo ${date_array[@]}
}
findneighbours(){
# search next best date if date is not in the file using recursivity
IFS="$old_IFS"
local elt=$1
shift
local state="$1"
shift
local -a array=( "$@" )
index_pivot=`expr ${#array[@]} / 2`
echo "#array="${#array[@]} ";array="${array[@]} ";index_pivot="$index_pivot 1>&2
if [ "$index_pivot" -eq 1 -a ${#array[@]} -eq 2 ];then
if [ "$state" == "E" ];then
echo ${array[0]}
elif [ "$state" == "S" ];then
echo ${array[(( ${#array[@]} - 1 ))]}
else
echo "State" $state "undefined" 1>&2
exit 100
fi
else
echo "elt with index_pivot="$index_pivot":"${array[$index_pivot]} 1>&2
if [ $elt -lt ${array[$index_pivot]} ];then
echo "elt is smaller than pivot" 1>&2
array=( ${array[@]:0:(($index_pivot + 1)) } )
else
echo "elt is bigger than pivot" 1>&2
array=( ${array[@]:$index_pivot:(( ${#array[@]} - 1 ))} )
fi
findneighbours "$elt" "$state" "${array[@]}"
fi
}
findFirstDate(){
local file="$1"
echo "Looking for first date in file" 1>&2
while read line
do
echo "$line" | egrep -q "^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\]" &>/dev/null
if [ "$?" -eq "0" ]
then
#echo "line=" "$line" 1>&2
firstdate=`echo "$line" | sed -r -e "s/^\[([^\[]+)\].*/\1/"`
echo "$firstdate"
break
else
echo $? 1>&2
fi
done< <( cat "$file" )
}
findLastDate(){
local file="$1"
echo "Looking for last date in file" 1>&2
while read line
do
echo "$line" | egrep -q "^\[[0-9]{4}-[0-9]{2}-[0-9]{2} [0-9]{2}:[0-9]{2}:[0-9]{2}\]" &>/dev/null
if [ "$?" -eq "0" ]
then
#echo "line=" "$line" 1>&2
lastdate=`echo "$line" | sed -r -e "s/^\[([^\[]+)\].*/\1/"`
echo "$lastdate"
break
else
echo $? 1>&2
fi
done< <( tac "$file" )
}
findBestDate(){
IFS="$old_IFS"
local initdate="$1"
local file="$2"
local state="$3"
local first_elts="$4"
local last_elts="$5"
local date_array=( )
local initdate_epoch=`convertToEpoch "$initdate"`
if [[ $initdate_epoch -lt $first_elt ]];then
echo `convertFromEpoch "$first_elt"`
elif [[ $initdate_epoch -gt $last_elt ]];then
echo `convertFromEpoch "$last_elt"`
else
date_array=( `getDates "$file" "$state"` )
echo "date_array="${date_array[@]} 1>&2
#first_elt=${date_array[0]}
#last_elt=${date_array[(( ${#date_array[@]} - 1 ))]}
echo `convertFromEpoch $(findneighbours "$initdate_epoch" "$state" "${date_array[@]}")`
fi
}
main(){
init_date_start="$1"
init_date_end="$2"
filename="$3"
echo "problem start.." 1>&2
date_array=( "$init_date_start","$init_date_end" )
flag_array=( 0 0 )
i=0
#echo "$IFS" | cat -vte
old_IFS="$IFS"
#changing separator to avoid whitespace issue in date/time format
IFS=,
for _date in ${date_array[@]}
do
#IFS="$old_IFS"
#echo "$IFS" | cat -vte
if isDatePresent "$_date" "$filename";then
if [ "$i" -eq 0 ];then
echo "Starting date exists" 1>&2
#echo "date_start=""$_date" 1>&2
date_start="$_date"
else
echo "Ending date exists" 1>&2
#echo "date_end=""$_date" 1>&2
date_end="$_date"
fi
else
if [ "$i" -eq 0 ];then
echo "start date $_date not found" 1>&2
else
echo "end date $_date not found" 1>&2
fi
flag_array[$i]=1
fi
#IFS=,
(( i++ ))
done
IFS="$old_IFS"
if [ ${flag_array[0]} -eq 1 -o ${flag_array[1]} -eq 1 ];then
first_elt=`convertToEpoch "$(findFirstDate "$filename")"`
last_elt=`convertToEpoch "$(findLastDate "$filename")"`
border_dates_array=( "$first_elt","$last_elt" )
#echo "first_elt=" $first_elt "last_elt=" $last_elt 1>&2
i=0
IFS=,
for _date in ${date_array[@]}
do
if [ $i -eq 0 -a ${flag_array[$i]} -eq 1 ];then
date_start=`findBestDate "$_date" "$filename" "S" "${border_dates_array[@]}"`
elif [ $i -eq 1 -a ${flag_array[$i]} -eq 1 ];then
date_end=`findBestDate "$_date" "$filename" "E" "${border_dates_array[@]}"`
fi
(( i++ ))
done
fi
sed -r -n "/^\[${date_start}\]/,/^\[${date_end}\]/p" "$filename"
}
main "$1" "$2" "$3"
将其复制到文件中。如果您不想查看调试信息,调试信息将发送到 stderr,因此只需添加“2>/dev/null”