我尝试过使用 lighttpd 和 nginx 作为 Web 服务器。结果都一样：早上，当负载较低时，文件下载速度非常快。但稍后，当负载稍高时，服务器开始以极慢的速度提供文件。
我们在服务器上使用 Riak，一些 mono 应用程序不断向用户的应用程序发送 udp 数据包，还有一个 Web 服务器来执行 php 脚本并托管一些文件：大量图像，用户不断访问和修改这些图像，还有一些应用程序特定的文件，平均 20-30mbs，也不断被访问。目前负载不超过每天 5-10k。
- CPU 的空闲率总是超过 90% (top, dstat)，我猜他做得很好。
- 内存绰绰有余（htop，free），甚至还未使用一半。
- 网络速度 = 1 Gbit/s、双工 = 全、自动协商 = 关闭
HDD
计时缓存读取：28842 MB，2.00 秒 = 14436.45 MB/秒 计时缓冲磁盘读取：766 MB，3.01 秒 = 254.78 MB/秒Ubuntu 14+ 独角兽，ulimit -n 65536，somaxconn = 40000
我现在有点绝望了）我以为是我的 lighttpd 配置出了问题，但转移到 nginx 后，情况一点都没有改变。我试过用 nginx 进行 aio，但不幸的是，没有突破。我应该在哪里查看？
Lighttpd 配置：http://www.pastebin.ca/2962652 Nginx 配置：http://pastebin.ca/2962656
更新01：
netstat -i
Kernel Interface table
Iface MTU Met RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg
eth0 1500 0 459293618 0 860 0 795794415 0 0 0 BMRU
lo 65536 0 38105807 0 0 0 38105807 0 0 0 LRU
更新02：
-iostat
avg-cpu: %user %nice %system %iowait %steal %idle
4.80 0.00 1.09 0.01 0.00 94.11
Device: tps kB_read/s kB_wrtn/s kB_read kB_wrtn
sda 7.50 6.91 371.47 2938271 157867024
sdb 7.35 2.88 371.47 1224325 157867024
sdc 7.32 2.56 371.47 1089356 157867024
md2 1.15 0.13 227.20 56169 96553984
md1 11.91 10.36 140.27 4402931 59610720
-atop
PRC | sys 0.79s | user 4.37s | #proc 182 | #tslpu 0 | #zombie 0 | #exit ? |
CPU | sys 7% | user 41% | irq 3% | idle 749% | wait 0% | curscal ?% |
CPL | avg1 0.39 | avg5 0.34 | avg15 0.39 | csw 245907 | intr 63997 | numcpu 8 |
MEM | tot 31.3G | free 22.6G | cache 4.0G | dirty 1.4M | buff 295.8M | slab 184.0M |
SWP | tot 1.5G | free 1.5G | | | vmcom 3.9G | vmlim 17.2G |
MDD | md2 | busy 0% | read 0 | write 14 | MBw/s 0.01 | avio 0.00 ms |
MDD | md1 | busy 0% | read 0 | write 93 | MBw/s 0.07 | avio 0.00 ms |
DSK | sda | busy 0% | read 0 | write 41 | MBw/s 0.09 | avio 0.10 ms |
DSK | sdb | busy 0% | read 0 | write 41 | MBw/s 0.09 | avio 0.10 ms |
DSK | sdc | busy 0% | read 0 | write 41 | MBw/s 0.09 | avio 0.10 ms |
NET | transport | tcpi 17140 | tcpo 35894 | udpi 5175 | udpo 4868 | tcpao 2 |
NET | network | ipi 22311 | ipo 24687 | ipfrw 0 | deliv 22310 | icmpo 0 |
NET | eth0 4% | pcki 20325 | pcko 39045 | si 2061 Kbps | so 41 Mbps | erro 0 |
NET | lo ---- | pcki 1987 | pcko 1987 | si 298 Kbps | so 298 Kbps | erro 0 |