服务器负载每天激增几次，过去一个月的平均负载是全年平均负载的5倍。

Question

我为我们的(Debian)灯集群设置的Munin通知一直在通知我，我们在生产机器上的负载一直处于危险的水平。虽然全年的平均负荷通常在2到8之间，但在过去的一个月和仅仅过去的一个月里，负荷猛增到10，18，甚至有时甚至是50-60。尖峰一次只持续5-10分钟，大约每2-3个小时发生一次.尖峰不会影响性能，仅仅是因为我有一个脚本，当负载超过10时，将从服务器上发送流量到镜像CDN。我寻找与此时间框架相关的cron作业，但我没有看到会导致这种情况的原因。网站流量也是正常的(我们每天接受大约200 K的访问)。这个web服务器所依赖的MySQL数据库似乎正在正常运行。服务器上的负载很低，性能也很好。

在这个问题开始的时候，我也在试着想一想我改变了什么，我真的什么都想不出来。

这可能没什么可做的。也许在上面(下面)有一条我看不到的线索。

我怎样才能找到原因呢？

-典型的顶部，当负载没有尖峰时：

top - 11:13:09 up 472 days, 25 min,  1 user,  load average: 6.08, 4.29, 3.80
Tasks: 105 total,   1 running, 104 sleeping,   0 stopped,   0 zombie
Cpu(s): 41.2%us,  5.8%sy,  0.0%ni, 49.5%id,  2.7%wa,  0.1%hi,  0.7%si,  0.0%st
Mem:   3369592k total,  2166980k used,  1202612k free,   559504k buffers
Swap:  2650684k total,     1892k used,  2648792k free,  1129116k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
32046 apache    15   0 36300  12m 9828 S   20  0.4   0:01.97 apache2
32679 apache    15   0 36568  13m  10m S   19  0.4   0:01.69 apache2
31441 apache    15   0 36616  13m  10m S   19  0.4   0:04.13 apache2
31477 apache    15   0 36596  13m 9.8m S   15  0.4   0:01.99 apache2
31993 apache    15   0 36876  16m  12m S   12  0.5   0:02.01 apache2
31782 apache    15   0 36836  14m  10m S    8  0.4   0:02.17 apache2
32198 apache    15   0 36536  13m  10m S    7  0.4   0:01.59 apache2
  880 apache    15   0 36508 9708 6236 S    7  0.3   0:00.42 apache2
31945 apache    17   0 36876  16m  13m S    5  0.5   0:03.17 apache2
32197 apache    16   0 36636  10m 7504 S    5  0.3   0:02.70 apache2
32326 apache    15   0 37024  11m 7632 S    5  0.3   0:02.15 apache2
32565 apache    15   0 37280  13m 9.8m S    5  0.4   0:03.75 apache2
32676 apache    15   0 36896  16m  12m S    4  0.5   0:00.95 apache2
32678 apache    15   0 36536  12m 9692 S    4  0.4   0:02.27 apache2
  974 apache    16   0 37064 9888 6016 D    4  0.3   0:00.13 apache2
32150 apache    16   0 36832  13m  10m S    3  0.4   0:01.74 apache2
31780 apache    16   0 36848  11m 7660 S    3  0.3   0:02.87 apache2

这是一个顶，当我们是尖顶：

top - 15:25:22 up 474 days,  4:37,  1 user,  load average: 78.73, 50.20, 24.79
Tasks: 250 total,   4 running, 244 sleeping,   0 stopped,   2 zombie
Cpu(s): 36.5%us,  4.7%sy,  0.0%ni, 56.4%id,  2.0%wa,  0.1%hi,  0.3%si,  0.0%st
Mem:   3369592k total,  2099904k used,  1269688k free,   553840k buffers
Swap:  2650684k total,     5104k used,  2645580k free,   729252k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
27716 apache    15   0 43612  20m 9.8m S   20  0.6   0:01.95 apache2
16782 apache    16   0 39460  19m  13m R   19  0.6   0:04.61 apache2
19701 apache    15   0 39232  16m  10m S   17  0.5   0:03.18 apache2
19677 apache    16   0 39208  15m 9956 R   12  0.5   0:05.03 apache2
16760 apache    15   0 36620  16m  13m S    8  0.5   0:06.35 apache2
19798 apache    15   0 36564  13m 9988 S    6  0.4   0:02.76 apache2
20325 apache    15   0 36616  13m 9704 S    6  0.4   0:02.11 apache2
19699 apache    15   0 36860  15m  12m S    5  0.5   0:03.10 apache2
15109 apache    15   0 36624  16m  13m S    4  0.5   0:05.97 apache2
15101 apache    15   0 36592  13m  10m S    3  0.4   0:08.96 apache2
15112 apache    15   0 36612  16m  13m S    3  0.5   0:07.57 apache2
20204 apache    15   0 44612  21m 9.9m S    3  0.6   0:03.55 apache2
19624 apache    15   0 36588  13m  10m S    3  0.4   0:02.00 apache2
20151 apache    15   0 36616  16m  13m S    3  0.5   0:02.14 apache2
26252 apache    15   0 37072  13m   9m S    3  0.4   0:01.09 apache2
19805 apache    15   0 36472  16m  12m S    2  0.5   0:03.68 apache2
20163 apache    15   0 36640  13m  10m S    2  0.4   0:02.50 apache2
27260 apache    18   0 44292  20m 9328 S    2  0.6   0:02.08 apache2
29149 apache    15   0 36172  11m 8744 S    2  0.4   0:00.69 apache2
20315 apache    15   0 36360  15m  12m S    2  0.5   0:02.06 apache2
29148 apache    16   0 36184 8872 5644 S    2  0.3   0:00.08 apache2

Answer 1

根据新加入的sys，负载变得如此之高，因为我们最近不断地达到带宽分配的容量(不确定是入站还是出站)。对这个问题的一些回答是正确的，因为这根本不是服务器故障的迹象。这是一个网络问题，新的请求必须等待带宽清除，然后才能继续-因此，高负载(延迟)。无论如何，我们最近已经转移到一个新的数据中心，它的带宽分配要大得多。谢谢大家！

Answer 2

Loadavg并没有告诉您您的系统是否表现不佳；这是一个非常普遍的指标，它描述了您的系统有多忙，其中繁忙被定义为当前正在执行或等待执行cpu指令的进程数量的一个索引。在一个八核心系统中，工作负载是由大量的短期进程(例如，web服务器)描述的，超过50的负载甚至可能不会引起我的注意。

您能否将这些峰值与您的apache日志关联起来，以查看在高峰期间响应时间是否会受到影响？你只是在高峰期间提供更多的请求吗？你是否对诸如iowait和用户与系统cpu之间的数据进行统计，它们之间有关联吗？另一张提到交换的海报是正确的:当内存访问减慢到磁盘速度时，交换会导致进程堆积，这可能导致进程挂起，从而导致更高的负载。

这些都是要研究的事情；更多的数据和历史数据可以帮助您解决这个问题。希望这有帮助；祝你好运！

Answer 3

你在后端用了像Memcached这样的东西吗？TTL是否在该时间框架内到期？

当负载超过100%时，性能实际上会受到影响吗？在多核CPU中，这很可能是正常的。

P.S .看起来你也在考虑你的掉期分配，我会看看这个。