☰

如何确定导致我的服务器负载平均值跳升至 90 的原因

tag-icon • tag-icon linux ubuntu mysql
如何确定导致我的服务器负载平均值跳升至 90 的原因

好吧，我完全不知所措了。我已经运行这个 Ubuntu 服务器大约三年了。在过去的几个月里，它开始表现得很奇怪，而且情况越来越糟。这是一个非常繁忙的服务器，运行着大约 15 个网站和许多其他工具。它的典型 15 分钟负载平均值为 .3。然而，大约每 12 小时左右，它的负载就会飙升到 90 左右。

我确信这与 mysql 和服务器以某种方式被锁定有关，而 apache 只是堆积起来等待打开。这是事情变得疯狂时的顶部。

Tasks: 143 total,  20 running, 123 sleeping,   0 stopped,   0 zombie
Cpu(s): 34.3%us, 62.9%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.2%hi,  2.6%si,  0.0%st
Mem:   2061444k total,   911460k used,  1149984k free,    11156k buffers
Swap:  1421712k total,        0k used,  1421712k free,   126728k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 1080 mysql     20   0  397m  59m 5892 S   18  3.0   0:37.37 mysqld
 1602 www-data  20   0  198m  26m 4948 R    7  1.3   0:08.17 apache2
 1725 www-data  20   0  189m  24m  11m R    7  1.2   0:04.33 apache2
 1719 www-data  20   0  189m  25m  12m R    7  1.2   0:03.88 apache2
 1802 www-data  20   0  192m  20m 4808 S    7  1.0   0:03.15 apache2
 1521 www-data  20   0  199m  28m 6912 R    6  1.4   0:10.15 apache2
 1530 www-data  20   0  193m  22m 5104 S    5  1.1   0:06.53 apache2
 1536 www-data  20   0  196m  25m 4936 R    5  1.2   0:07.93 apache2
 1583 www-data  20   0  186m  21m  11m R    5  1.0   0:03.46 apache2
 1722 www-data  20   0  193m  21m 4956 R    5  1.1   0:04.91 apache2
 1906 www-data  20   0  182m  12m 6724 S    5  0.6   0:00.61 apache2
 1439 root      20   0 92040 3672 2280 S    5  0.2   0:08.04 ezproxy
 1539 www-data  20   0  194m  27m 9548 R    4  1.3   0:08.08 apache2
 1716 www-data  20   0  187m  22m  11m R    4  1.1   0:03.36 apache2
 1891 www-data  20   0  183m  18m  11m S    4  0.9   0:00.61 apache2
 1498 www-data  20   0  194m  23m 6264 S    4  1.2   0:11.47 apache2
 1517 www-data  20   0  193m  22m 5212 R    4  1.1   0:06.56 apache2
 1523 www-data  20   0  190m  26m  12m S    3  1.3   0:07.61 apache2
 1761 www-data  20   0  186m  20m  10m R    2  1.0   0:02.66 apache2
 1779 www-data  20   0  184m  19m  10m R    2  0.9   0:02.69 apache2
 1711 www-data  20   0  185m  20m  11m R    2  1.0   0:03.32 apache2
 1728 www-data  20   0  182m  11m 5028 R    2  0.6   0:01.14 apache2
 1819 www-data  20   0  181m 8120 3332 S    2  0.4   0:00.49 apache2
 1886 www-data  20   0  182m  11m 6364 S    2  0.6   0:01.18 apache2
 1899 www-data  20   0  184m  18m  10m S    2  0.9   0:01.38 apache2
 1497 www-data  20   0  191m  27m  12m S    1  1.4   0:07.84 apache2
 1766 www-data  20   0  181m  10m 5016 R    1  0.5   0:01.39 apache2
 1871 www-data  20   0  184m  19m  11m R    1  1.0   0:00.98 apache2
 1563 www-data  20   0  186m  23m  13m S    1  1.2   0:07.37 apache2
 1865 www-data  20   0  184m  18m  10m S    1  0.9   0:01.56 apache2
 1494 www-data  20   0  193m  25m 8352 S    1  1.3   0:12.07 apache2
 1512 www-data  20   0  186m  23m  13m R    1  1.1   0:06.10 apache2
 1526 www-data  20   0  186m  24m  13m R    1  1.2   0:06.30 apache2
 1816 www-data  20   0  184m  18m  10m S    1  0.9   0:01.60 apache2
 1516 www-data  20   0  184m  19m  11m S    1  1.0   0:04.12 apache2

现在一切进展顺利，

Uptime: 241264  Threads: 1  Questions: 1870412  Slow queries: 1354  Opens: 13818  Flush tables: 1  Open tables: 256  Queries per second avg: 7.752

这是我的所有数据库大小（以 MB 为单位）

name1   14.78335094
name2   11.08541870
name3   31.01449203
name4   6.24377346
name5   0.36655807
name6   10.95312500
information_schema  0.00781250
mysql   0.60296535
name7   2.19595051
name8   1.82343006
name9   20.51372623
name0   59.42693043

我检查了慢查询日志，但当发生锁定时，每个查询都会被转储到慢查询日志中。当发生运行进程列表时，我还没有进入服务器。除此之外我还能做什么吗？

更新：以下是 tuning-primer.sh 脚本的输出：https://gist.github.com/913565

更新：以下是异常期间的 IOStat：

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               5.25         6.05       106.35    3090763   54314928

还有一个 vmstat 3：https://gist.github.com/913565#file_vmstat%203

现在有更多 SAR！https://gist.github.com/913565#file_sar

谢谢您的帮助。

答案1

尝试sar在后台安装并运行它。您的磁盘负载可能会激增。 sar当出现此类问题时，它会让您看到哪些资源的负载最重。

高sys负载可能表明有大量 I/O 发生。这可能是数据库自然增长的结果。您是否已建立归档过程以从数据库中删除旧数据？如果没有，您将达到表扫描所需的数据不再适合内存的程度。当这种情况发生时，性能将突然大幅下降。慢查询日志可能包含一些可以通过添加索引来改进的查询。

如果您有其他可以运行的系统munin，您可能希望munin-node在服务器上安装。这将为您提供一些可用数据的图形输出sar。时不时检查一下图表，看看情况是否有变化。

编辑：看起来您在 apache 下运行的某些代码中可能存在内存泄漏。尝试将其设置MaxRequestsPerChild为 100 左右并重新启动 apache。如果这解决了您的问题，请尝试查找您的内存泄漏。

答案2

您的数据库大小以 MB 为单位，对吗？这个数字相当小，应该几乎完全符合配置的内存量，所以我不认为 mysql 是这里的问题。您能否发布一下MySQL 调优入门无论如何？此外，您肯定应该使用类似 munin/cacti/.. 之类的东西来绘制和收集有关系统的数据。您的机器正在运行哪种软件？php 之类的东西？您是否已经在使用 APC 之类的操作码缓存？

答案3

是否有可能由于数据量增长到一定程度，导致定期的 MySQL 查询开始返回/处理如此多的结果，以致 MySQL 耗尽物理内存而不得不使用大量虚拟内存？

答案4

除了该工具之外，您sar还可以使用其他工具。如果问题与 IO 有关，iostat 将为您提供帮助。如果您向我们提供输出，例如，也许我们可以更好地帮助您。（这将每 3 秒打印出 vmstat 输出。您可以在一两分钟后停止该工具。）vmstatiostatvmstat 3

相关内容