机器人导致服务器崩溃 - 在 Apache 日志中出现错误“服务器似乎很忙” - 需要更新 prefork 设置吗?

机器人导致服务器崩溃 - 在 Apache 日志中出现错误“服务器似乎很忙” - 需要更新 prefork 设置吗?

因此,在我的网站(在 Rackspace 2GB RAM CentOS 7 实例上运行)本周宕机两次后,我查看了日志,似乎罪魁祸首是机器人(搜索引擎和其他......)

由于该网站经历了重大变化,这些机器人似乎是合法的,我假设这会触发机器人进行更多抓取。

阅读了一些资料后,似乎我应该在我的 httpd.conf 文件中有一些关于 prefork 的设置,虽然我已确认它已安装在服务器上,但我没有任何设置...

我看到的错误是

[mpm_prefork:info] [pid 31961] AH00162: server seems busy, (you may need to increase StartServers, or Min/MaxSpareServers), spawning 8 children, there are 0 idle, and 18 total children

被数百个此类条目包围

[Sat Aug 08 15:33:30.066982 2020] [proxy:debug] [pid 11277] proxy_util.c(1936): AH00931: initialized single connection worker in child 11277 for (*)

[Sat Aug 08 15:33:31.070400 2020] [proxy:debug] [pid 11278] proxy_util.c(1843): AH00925: initializing worker proxy:reverse shared

[Sat Aug 08 15:33:31.070477 2020] [proxy:debug] [pid 11278] proxy_util.c(1885): AH00927: initializing worker proxy:reverse local

即使机器人速度变慢了,我仍然觉得这应该被视为一种良好的做法,不是吗?

也许这样的事情应该有效(来自这个网站

<IfModule prefork.c>
   StartServers        5
   MinSpareServers     5
   MaxSpareServers     10
   MaxClients          150
   MaxRequestsPerChild 3000
</IfModule>

任何建议都值得赞赏。

相关内容