如何自动清理带日期戳的日志

如何自动清理带日期戳的日志

我有一个带有各种虚拟主机的 Apache Web 服务器。每个虚拟主机都使用 cronolog 记录日期戳文件。结果是我最终得到了很多这样的文件:

----rw-r-- 1 root     root      467894 2013-02-01 13:43 2013-02-01-tracg.dev.local-access.log
----rw-r-- 1 root     root         222 2013-02-01 01:09 2013-02-01-tracg.dev.local-error.log
----rw-r-- 1 root     root         222 2013-02-02 01:10 2013-02-02-tracg.dev.local-error.log
----rw-r-- 1 root     root         333 2013-02-03 06:47 2013-02-03-tracg.dev.local-error.log
-rw-r--r-- 1 root     root       39574 2013-02-04 14:20 2013-02-04-tracg.dev.local-access.log
----rw-r-- 1 root     root         444 2013-02-04 08:24 2013-02-04-tracg.dev.local-error.log
----rw-r-- 1 root     root         444 2013-02-05 12:14 2013-02-05-tracg.dev.local-error.log
----rw-r-- 1 root     root       98135 2013-02-06 13:30 2013-02-06-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-06 09:13 2013-02-06-tracg.dev.local-error.log
-rw-r--r-- 1 root     root        8872 2013-02-07 13:55 2013-02-07-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-07 02:00 2013-02-07-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         666 2013-02-08 14:31 2013-02-08-tracg.dev.local-error.log
----rw-r-- 1 root     root         192 2013-02-09 01:08 2013-02-09-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         530 2013-02-09 01:08 2013-02-09-tracg.dev.local-error.log
----rw-r-- 1 root     root         192 2013-02-10 01:08 2013-02-10-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         641 2013-02-10 06:32 2013-02-10-tracg.dev.local-error.log
----rw-r-- 1 root     root       64565 2013-02-11 13:56 2013-02-11-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         752 2013-02-11 06:28 2013-02-11-tracg.dev.local-error.log
----rw-r-- 1 root     root       54988 2013-02-12 11:56 2013-02-12-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         752 2013-02-12 08:45 2013-02-12-tracg.dev.local-error.log
-rw-r--r-- 1 root     root       15003 2013-02-13 11:19 2013-02-13-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-13 10:48 2013-02-13-tracg.dev.local-error.log
----rw-r-- 1 root     root       32819 2013-02-14 15:43 2013-02-14-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-14 14:29 2013-02-14-tracg.dev.local-error.log
----rw-r-- 1 root     root      135665 2013-02-15 13:53 2013-02-15-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-15 11:39 2013-02-15-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         444 2013-02-16 01:10 2013-02-16-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         555 2013-02-17 06:33 2013-02-17-tracg.dev.local-error.log
-rw-r--r-- 1 root     root       30763 2013-02-18 14:15 2013-02-18-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-18 09:00 2013-02-18-tracg.dev.local-error.log
----rw-r-- 1 root     root       15058 2013-02-19 09:37 2013-02-19-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-19 09:16 2013-02-19-tracg.dev.local-error.log
----rw-r-- 1 root     root      132587 2013-02-20 15:55 2013-02-20-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         444 2013-02-20 01:11 2013-02-20-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         666 2013-02-21 09:07 2013-02-21-tracg.dev.local-error.log
-rw-r--r-- 1 root     root      226997 2013-02-22 15:36 2013-02-22-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-22 08:26 2013-02-22-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         444 2013-02-23 01:12 2013-02-23-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         555 2013-02-24 06:48 2013-02-24-tracg.dev.local-error.log
----rw-r-- 1 root     root      130913 2013-02-25 11:36 2013-02-25-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-25 11:37 2013-02-25-tracg.dev.local-error.log
----rw-r-- 1 root     root       21542 2013-02-26 14:43 2013-02-26-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-26 15:39 2013-02-26-tracg.dev.local-error.log
----rw-r-- 1 root     root       99698 2013-02-27 13:28 2013-02-27-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         444 2013-02-27 01:13 2013-02-27-tracg.dev.local-error.log
----rw-r-- 1 root     root      111632 2013-02-28 13:57 2013-02-28-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-02-28 11:55 2013-02-28-tracg.dev.local-error.log
----rw-r-- 1 root     root      205731 2013-03-01 13:30 2013-03-01-tracg.dev.local-access.log
-rw-r--r-- 1 root     root        1332 2013-03-01 14:31 2013-03-01-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         444 2013-03-02 01:11 2013-03-02-tracg.dev.local-error.log
-rw-r--r-- 1 root     root         555 2013-03-03 06:35 2013-03-03-tracg.dev.local-error.log
----rw-r-- 1 root     root      211616 2013-03-04 10:42 2013-03-04-tracg.dev.local-access.log
-rw-r--r-- 1 root     root         666 2013-03-04 10:42 2013-03-04-tracg.dev.local-error.log

这一切都很好,但是,我想让 cron 作业自动对所有当前未使用的日志文件进行 gzip 压缩。我不能只执行:gzip -9 /data/www/virtual//日志/。日志

这还将对当前打开的日志文件进行 gzip 压缩。那么如何才能仅对当前未使用的日志文件进行 gzip 压缩呢?

答案1

一种方法是:

find /data/www/virtual/log/ -name '*.log' -mtime +2 -exec gzip {} +

这将压缩所有以 结尾.log且至少两天内未被修改的文件。

另一种方法是:

gzip $(date --date="yesterday" "+/data/www/virtual/log/%Y-%m-*.log")

这将计算昨天的日期并压缩以该日期开头并以 结尾的所有文件.log

请记住,$()%在 cron 作业中不起作用,因为这$()是 bash 的东西,%在 crontabs 中具有特殊含义。将其放入脚本中并从 cron 作业中调用该脚本。实际上,对所有这些方法都这样做。

还有另一种方法:

for FILE in /data/www/virtual/log/*.log
do
  if [ `fuser -s $FILE` ]
  then
    gzip $FILE
  fi
done

这将压缩所有以 结尾.log且当前未被任何进程打开的文件。

logrotate在使用的同时,可能可以通过配置来处理这个问题cronolog。我从来没有使用过logrotate每天都有不同的名称的日志文件,但你可以*.log在配置文件中指定,所以这可能是可行的。

或者,您可以放弃cronolog,一直记录到同一个文件,并logrotate每天移动它们。这还将删除最旧的文件,因此您使用的磁盘空间量相对稳定。

答案2

尝试:

ls -d /path/to/[0-9]*tracg.dev.local-*.log | sort -r | sed '1,2d' | xargs gzip -9

这比检查每个文件是否打开要快,但它假定列出的前两个文件(按字母顺序反向排序;最新的两个文件在顶部)是您想要跳过的文件。

[ sed 命令删除 1-2 行 ]

答案3

移动旧日志文件的示例 Bash 脚本:

logdir='/data/www/virtual//log/'
year=`date +%Y`
touch -t `date +%m%d0000` /tmp/tdate
            for i in $(find $logdir -maxdepth 1 -type f ! -newer /tmp/tdate)
                    do
                            month=`ls -al $i | awk '{print $6}'`
                            day=`ls -al $i | awk '{print $7}'`
                            ls -al $i | awk '{print $8}' | grep ":" > /dev/null
                            if [ $? = 0 ]
                                    then
                                            mkdir -p $logdir/previous/$day-$month-$year
                                            mv $i $logdir/previous/$day-$month-$year
                                    else
                                            year1=`ls -al $i | awk '{print $8}'`
                                            mkdir -p $logdir/previous/$day-$month-$year1
                                            mv $i $logdir/previous/$day-$month-$year1
                            fi
                    done
    rm -rf /tmp/tdate

在 /data/www/virtual//log/ 目录中创建一个先前的目录。所有早于今天日期的日志将被移动到先前的目录中。在先前的目录中,它将再次创建目录,日志文件将驻留在它们所属的日期目录中。

或者一个简单的解决方案,使用 Logrotate

答案4

logrotate 接受通配符,在手册文件“man logrotate”中有一个 INN usenet 守护进程的通配符示例:

   /var/log/news/* {
       monthly
       rotate 2
       olddir /var/log/news/old
       missingok
       postrotate
           kill -HUP ‘cat /var/run/inn.pid‘
       endscript
       nocompress
   }

希望有帮助

相关内容