☰

服务器

tag-icon • tag-icon linux networking nginx debian vmware-esxi
服务器

我在 vmware-esxi 虚拟化中使用 debian 7 x64。

每个客户端的最大下载速度为 1mb/s，而 nginx 的使用速度不会超过 50mbps，我的问题是导致传输速度如此缓慢的原因是什么？

服务器

**Settings for eth1:
    Supported ports: [ TP ]
    Supported link modes:   1000baseT/Full
                            10000baseT/Full**

root@www:~# iostat
Linux 3.2.0-4-amd64 (www)       09.02.2015      _x86_64_        (4 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
       1,75    0,00    0,76    0,64    0,00   96,84

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda             173,93      1736,11       219,06     354600      44744


root@www:~# free -m
             total       used       free     shared    buffers     cached
Mem:         12048       1047      11000          0        106        442
-/+ buffers/cache:        498      11549
Swap:          713          0        713

nginx.cof

user www-data;
worker_processes 4;
pid /var/run/nginx.pid;

events {
        worker_connections 3072;
        # multi_accept on;
}

http {

        ##
        # Basic Settings
        ##

        sendfile on;
        tcp_nopush on;
        tcp_nodelay on;
        keepalive_timeout 5;
        types_hash_max_size 2048;
        server_tokens off;

        # server_names_hash_bucket_size 64;
        # server_name_in_redirect off;

        include /etc/nginx/mime.types;
        default_type application/octet-stream;

        ##
        # Logging Settings
        ##

        access_log /var/log/nginx/access.log;
        error_log /var/log/nginx/error.log;

        ##
        # Gzip Settings
        ##

        gzip on;
        gzip_disable "msie6";

        # gzip_vary on;
        # gzip_proxied any;
        # gzip_comp_level 6;
        # gzip_buffers 16 8k;
        # gzip_http_version 1.1;
        # gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;

        ##
        # nginx-naxsi config
        ##
        # Uncomment it if you installed nginx-naxsi
        ##

        #include /etc/nginx/naxsi_core.rules;

        ## Start: Size Limits & Buffer Overflows ##

        client_body_buffer_size 1k;
        client_header_buffer_size 1k;
        client_max_body_size 4M;
        large_client_header_buffers 2 1k;

        ## END: Size Limits & Buffer Overflows ##

        ## Start: Timeouts ##

        client_body_timeout   10;
        client_header_timeout 10;
        send_timeout          10;

        ## End: Timeouts ##

        ## END: Size Limits & Buffer Overflof
        ##
        # nginx-passenger config
        ##
        # Uncomment it if you installed nginx-passenger
        ##

        #passenger_root /usr;
        #passenger_ruby /usr/bin/ruby;

        ##
        # Virtual Host Configs
        ##

        include /etc/nginx/conf.d/*.conf;
        include /etc/nginx/sites-enabled/*;
}

/etc/sysctl.conf

# Increase system IP port limits to allow for more connections

net.ipv4.ip_local_port_range = 2000 65000


net.ipv4.tcp_window_scaling = 1


# number of packets to keep in backlog before the kernel starts dropping them
net.ipv4.tcp_max_syn_backlog = 3240000


# increase socket listen backlog
net.core.somaxconn = 3240000
net.ipv4.tcp_max_tw_buckets = 1440000


# Increase TCP buffer sizes
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216

更新 ：

调试日志完全为空，只有当我手动取消下载时才会出现以下错误

2015/02/09 20:05:32 [info] 4452#0: *2786 client prematurely closed connection while sending response to client, client: 83.11.xxx.xxx, server: xxx.com, request: "GET filename HTTP/1.1", host: "xxx.com"

卷曲输出：

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 1309M  100 1309M    0     0   374M      0  0:00:03  0:00:03 --:--:--  382M

答案1

通过 Google 为大家提供的答案：

Sendfile 是阻塞的，并且不允许 nginx 设置前瞻，因此如果文件只读取一次则效率很低。

Sendfile 依赖于文件系统缓存等，并且从未用于处理如此大的文件。

您需要禁用大型文件的 sendfile，而改用 directio（最好使用线程，这样它就不会阻塞）。任何小于 16MB 的文件仍将使用 sendfile 读取。

aio threads;
directio 16M;
output_buffers 2 1M;

sendfile on;
sendfile_max_chunk 512k;

通过使用 directio，您可以直接从磁盘读取，从而跳过许多步骤。

ps 请注意，要使用 aio 线程，你需要编译支持线程的 nginxhttps://www.nginx.com/blog/thread-pools-boost-performance-9x/

答案2

您可能需要更改sendfile_max_chunk值，如文档所述：

Syntax:   sendfile_max_chunk size;
Default:  sendfile_max_chunk 0;
Context:  http, server, location

当设置为非零值时，限制在单个 sendfile() 调用中可以传输的数据量。如果没有限制，一个快速连接可能会完全占用工作进程。

如果您的大部分流量都是“大”静态文件，您可能还需要调整缓冲区大小。

答案3

您是否尝试过调整最大传输单元（最大传输单元）- 单个网络事务中可以传输的最大网络层协议数据单元的大小？在我们的案例中，将其从 1500 字节切换到 4000 字节可显著提高下载性能。支持的 MTU 因 IP 传输而异。尝试不同的值，评估在您的用例中什么大小是合理的。

您可以使用它ifconfig来检查现有的 MTU 大小并使用以下命令在运行时更新它：

ifconfig eth0 mtu 5000

还可以访问这篇关于所有事情的非常有用的文章如何通过网络传输大量数据？

相关内容