为什么只有部分日志被轮换了?

为什么只有部分日志被轮换了?

我正在使用 Ubuntu 14.04。我的 /etc/logrotate.conf 文件中有以下内容...

/home/rails/myproject/log {
        daily
        rotate 3
        compress
        delaycompress
        missingok
        notifempty
        create 644 rails rails
}

/var/log/postgresql {
        daily
        rotate 3
        compress
        delaycompress
        missingok
        notifempty
        create 644 root root
}

每天晚上,我都会查看我的 Rails 日志,它总是变得更大 - 也就是说,日志似乎没有被旋转......

myuser@myproject:~$ ls -al /home/rails/myproject/log
total 4574368
drwxr-xr-x  2 rails rails       4096 May 30 12:04 .
drwxr-xr-x 15 rails rails       4096 May 30 12:03 ..
-rw-rw-r--  1 rails rails      14960 Jun  1 22:39 development.log
-rw-rw-r--  1 rails rails          0 Oct 22  2016 .keep
-rw-r--r--  1 rails rails 4523480004 Jun 22 10:19 production.log
-rw-rw-r--  1 rails rails  156358087 Jun 22 10:19 sidekiq.log
-rw-rw-r--  1 rails rails      54246 Apr 10 14:34 test.log

当我手动运行命令时,我发现一些日志似乎被旋转了......

myuser@myproject:~$ sudo logrotate /etc/logrotate.conf
myuser@myproject:~$ ls -al /home/rails/myproject/log
total 4570288
drwxr-xr-x  2 rails rails       4096 Jun 22 10:22 .
drwxr-xr-x 15 rails rails       4096 May 30 12:03 ..
-rw-rw-r--  1 rails rails          0 Jun 22 10:22 development.log
-rw-rw-r--  1 rails rails      14960 Jun  1 22:39 development.log.1
-rw-rw-r--  1 rails rails          0 Oct 22  2016 .keep
-rw-r--r--  1 rails rails          0 Jun 22 10:22 production.log
-rw-r--r--  1 rails rails 4523505906 Jun 22 10:23 production.log.1
-rw-rw-r--  1 rails rails  156369048 Jun 22 10:23 sidekiq.log
-rw-rw-r--  1 rails rails      54246 Apr 10 14:34 test.log

我如何弄清楚为什么我的 rails 日志没有每晚轮换?请注意,系统中的其他日志似乎如此。上面,我包括了我的 postgres 配置,当我查看那里的日志时,似乎正在正常轮换...

myuser@myproject:~$ ls -al /var/log/postgresql
total 1832
drwxrwxr-t  2 root     postgres    4096 May  2 20:42 .
drwxr-xr-x 13 root     root        4096 Jun 22 10:22 ..
-rw-r-----  1 postgres adm      1861361 Jun 22 10:14 postgresql-9.6-main.log

谢谢,-戴夫

编辑:将配置放在单独的文件中似乎没有任何作用。以下是我的配置以及似乎没有轮换的日志...

myuser@myapp:~$ sudo cat /etc/logrotate.d/myapp
[sudo] password for myuser:
/home/rails/myapp/log/*.log {
   daily
   missingok
   compress
   notifempty
   rotate 12
   create
   delaycompress
   missingok
   su rails rails
}

这是日志。看来什么事都没发生……

myuser@myapp:~$ ls -al /home/rails/myapp/log
total 4635956
drwxr-xr-x  2 rails rails       4096 Jun 22 10:22 .
drwxr-xr-x 15 rails rails       4096 May 30 12:03 ..
-rw-rw-r--  1 rails rails          0 Jun 22 10:22 development.log
-rw-rw-r--  1 rails rails      14960 Jun  1 22:39 development.log.1
-rw-rw-r--  1 rails rails          0 Oct 22  2016 .keep
-rw-r--r--  1 rails rails          0 Jun 22 10:22 production.log
-rw-r--r--  1 rails rails 4546785231 Jun 24 12:12 production.log.1
-rw-rw-r--  1 rails rails  200336693 Jun 24 12:51 sidekiq.log
-rw-rw-r--  1 rails rails      54246 Apr 10 14:34 test.log

答案1

Logrotate 的作用是移动(重命名)和压缩文件。在本例中,您已将其配置为重命名和压缩 Rails 日志文件,然后使用原始名称创建新文件。

文件名是查找文件的一种方式,但实际文件只是磁盘上的一些空间。一个文件可以有多个名称(硬链接)或没有名称(您可以rm打开一个文件,但只要该文件在某个进程中打开,它仍然会占用磁盘空间)。

您在这里遇到的问题是,当文件重命名时,Rails 应用程序已经打开了该文件。Rails 记录器没有注意到名称更改,因为它曾经使用该名称打开文件,然后完全不再关心其名称。记录器只是对打开的文件有一个句柄。

您必须说服它关闭并重新打开日志文件,再次使用它们的名称,这意味着它开始写入新的空文件,这些文件现在具有旧文件以前的名称。

如果你仔细观察,/etc/logrotate.d你会看到很多这样的例子,这取决于你所安装的内容。

例如,rsyslog 有:

postrotate
    invoke-rc.d rsyslog rotate > /dev/null
endscript

stunnel 有:

postrotate
    /etc/init.d/stunnel4 reopen-logs > /dev/null
endscript

这些脚本用于通知相关进程该文件需要重新打开。具体机制取决于程序,但它往往会发送一个HUP(有时是USR1)(请参阅man 7 signal),长期运行的进程会将其作为关闭和重新打开日志文件的指令。

对于 Rails 来说,执行方式取决于您使用的记录器。我刚刚看到一些建议,建议您应该使用,copytruncate这基本上是 logrotate 中的一个“作弊选项”,告诉它手动复制内容并清空文件,而不是移动它并创建一个新文件。(见man logrotate.conf)。这可以代替create像这样使用:

/home/rails/myapp/log/*.log {
    daily
    missingok
    compress
    notifempty
    rotate 12
    copytruncate
    delaycompress
    missingok
    su rails rails
}

这不是一个很好的解决方案,因为它实际上是在删除其内容之前复制整个文件(以创建它的快照),这是非常低效的。

但是,如果你使用独角兽要运行你的应用程序(它在一组相同的 Rails 工作进程之间多路复用请求),它支持 USR1 信号正常(杀死并替换所有工作进程,有效地导致它们重新打开文件),你可以使用或类似方法在 postrotate 中发送它pkill,可能像这样:

/home/rails/myapp/log/*.log {
    daily
    missingok
    compress
    notifempty
    rotate 12
    create
    delaycompress
    missingok
    su rails rails
    postrotate
        pkill -USR1 -u rails unicorn
    endscript
}

pkill是一个搜索正在运行的进程并向其发送信号的工具,因此它将找到unicorn以用户身份运行的所有内容rails,并向其发送USR1信号,告诉它重新打开日志文件。(我从 Ubuntu 软件包/etc/logrotate.d文件中给出的示例实际上是在做同样的事情,但这些服务的搜索功能隐藏在其/etc/init.d脚本中的函数中。)

我确信postrotate无论你拥有什么样的 Rails 设置,都会有某种方式来配置合理的设置(在最坏和最简单的情况下,只需重新启动它),但希望这可以解释 Ubuntu 方面的情况......

答案2

问题似乎出在你指定文件轮换的目录,而不是实际的文件名。logrotate 的配置文件接受通配符来进行通配符匹配(模式匹配)。

要轮换目录.log中所有带有扩展名的文件/home/rails/myproject/log,您可以使用以下行代替配置的第一行:

/home/rails/myproject/log/*.log {

类似地,在 postgres 目录配置中

/var/log/postgresql/*.log {

可以使用*不带.log扩展名的通配符来旋转 postgresql 目录中的所有文件(以 开头的隐藏文件除外),但我更喜欢仅.指定文件的附加控制:.log

/var/log/postgresql/* {

附注:请注意如何使用 logrotate 创建日志文件的新版本,如果您使用 644 八进制权限创建由 root 用户拥有的新 postgresql 日志,则 postgres 用户将无法写入新日志文件。

答案3

/var/lib/logrotate/status如果出现任何问题,请检查状态

请检查 /etc/logrotate.d 中文件的权限和所有权 root 所有者和权限模式 644。logrotate 的代码片段:

/home/rails/myapp/log/*.log {
   rotate 12
   daily
   missingok
   compress
   notifempty
   create 640 rails rails
   delaycompress
   missingok
}

通过手动执行检查 logrotate 输出,--verbose 如果您需要超过特定大小的 logrotate,您可以尝试使用logrotate 配置文件中的maxsize选项size

相关内容