我在虚拟机上安装了 icinga2,用于监控其他 5 个虚拟机,这些虚拟机支持 graphite 图形,并使用 icingaweb2 作为界面。最近,在我的 Web 界面上,我得到了以下信息:
Fatal error: Uncaught exception 'ErrorException' with message 'session_start(): open(/var/lib/php5/sess_3aabfsu76vcdj2hd2u3teofta5dvanpn, O_RDWR) failed: No space left on device (28)' in /usr/share/php/Icinga/Web/Session/PhpSession.php:105 Stack trace: #0 [internal function]: Icinga\Application\ApplicationBootstrap->Icinga\Application\{closure}(2, 'session_start()...', '/usr/share/php/...', 105, Array) #1 /usr/share/php/Icinga/Web/Session/PhpSession.php(105): session_start() #2 /usr/share/php/Icinga/Web/Session/PhpSession.php(215): Icinga\Web\Session\PhpSession->open() #3 /usr/share/php/Icinga/Authentication/Auth.php(344): Icinga\Web\Session\PhpSession->refreshId() #4 /usr/share/php/Icinga/Authentication/Auth.php(166): Icinga\Authentication\Auth->persistCurrentUser() #5 /usr/share/php/Icinga/Authentication/Auth.php(262): Icinga\Authentication\Auth->setAuthenticated(Object(Icinga\User)) #6 /usr/share/php/Icinga/Authentication/Auth.php(93): Icinga\Authentication\Auth->authExternal() #7 /usr/share/php/Icinga/Application/Web. in /usr/share/php/Icinga/Web/Session/PhpSession.php on line 105
Fatal error: Uncaught exception 'ErrorException' with message 'Unknown: open(/var/lib/php5/sess_3aabfsu76vcdj2hd2u3teofta5dvanpn, O_RDWR) failed: No space left on device (28)' in Unknown:0 Stack trace: #0 [internal function]: Icinga\Application\ApplicationBootstrap->Icinga\Application\{closure}(2, 'Unknown: open(/...', 'Unknown', 0, Array) #1 {main} thrown in Unknown on line 0
为了检查发生了什么,我尝试在磁盘可用空间中查找问题:
# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/hostname--vg-root 6.5G 4.8G 1.4G 78% /
tmpfs 201M 412K 200M 1% /run
...
...
/dev/sda1 236M 154M 70M 69% /boot
问题发生在已完成的 inode 中:
#df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/mapper/hostname--vg-root 441504 441504 0 100% /
...
...
/dev/sda1 62248 318 61930 1% /boot
要检查我所做的小文件的最大部分在哪里:
#for i in /*; do echo $i; find $i |wc -l; done
并发现关键在于/usr和/var/spool/icinga2/perfdata/目录
/usr
177882
/var/spool/icinga2/perfdata
229326
问题在于为什么 icinga2 不清理其性能数据,以及如何手动清理而不造成损坏。谢谢。
答案1
Icinga 2 不会清理轮换的性能数据文件。它希望外部守护进程/应用程序在处理后删除这些文件。例如,如果您使用 PNP,NPCD 守护进程将收集轮换的文件,然后处理它们并删除它们。
您还需要在监控中添加具有 inode 阈值的“磁盘”检查,以便提前发现此类问题。