☰

NanoPi M4 - RK3399：Apache2 + SSL：大型下载挂起

tag-icon • tag-icon debian apache-httpd openssl armbian arm64
NanoPi M4 - RK3399：Apache2 + SSL：大型下载挂起

我有一个全新的 Apache2 设置，在 Debian 9 下运行（NanoPi M4 上的 armbian）。一切正常，直到我尝试通过 HTTPS 下载大文件。然而，小文件下载成功，较大的文件似乎在某些时候会随机失败。 我无法使用纯 HTTP 重现此问题。示例wget（浏览器上的行为相同）：

wget https://xyz---/test.bin --no-check-certificate
--2019-01-13 18:22:22--  https://xyz---/test.bin
Resolving xyz--- (xyz---)... 85.241.xxx.xxx
Connecting to xyz--- (xyz---)|85.241.xxx.xxx|:443... connected.
WARNING: cannot verify xyz---'s certificate, issued by 'CN=Let\'s Encrypt Authority X3,O=Let\'s Encrypt,C=US':
  Unable to locally verify the issuer's authority.
HTTP request sent, awaiting response... 200 OK
Length: 1073741824 (1,0G) [application/octet-stream]
Saving to: 'test.bin.2'

test.bin.2                      39%[==================>                               ] 403,66M  11,6MB/s    eta 54s

下载一直很好，直到达到 403,66M，之后就没有其他事情发生了。在服务器端（error.log）我得到这个：

ssl_engine_io.c(2135): [client 85.243.xxx.xxx:59904] OpenSSL: write 16413/16413 bytes to BIO#5588cd8c50 [mem: 5588a87c23] (BIO dump follows)
core_filters.c(525): [client 85.243.xxx.xxx:59904] core_output_filter: flushing because of THRESHOLD_MAX_BUFFER
core_filters.c(547): (70007)The timeout specified has expired: [client 85.243.xxx.xxx:59904] core_output_filter: writing data to the network
ssl_engine_io.c(2144): [client 85.243.xxx.xxx:59904] OpenSSL: I/O error, 16413 bytes expected to write on BIO#5588cd8c50 [mem: 5588a87c23]
(70007)The timeout specified has expired: [client 85.243.xxx.xxx:59904] AH01993: SSL output filter write failed.

它似乎运行了core_output_filter: flushing because of THRESHOLD_MAX_BUFFER然后没有其他事情发生。有时我也注意到这个错误：

ssl_engine_io.c(2135): [client 95.239.xxx.xxx:9937] OpenSSL: write 45/45 bytes to BIO#55bd9e23e0 [mem: 55bd9ec213] (BIO dump follows)
ssl_engine_io.c(2144): [client 95.239.xxx.xxx:9937] OpenSSL: I/O error, 5 bytes expected to read on BIO#55bd9e9d80 [mem: 55bd9ec213]

以下是服务此请求的 VHost 的配置：

<VirtualHost *:443>
    ServerName xyz---
    ServerAdmin tcb13---
    DocumentRoot /test
    ErrorLog /test/error.log
    CustomLog /test/access.log combined

    SSLEngine on
    SSLCertificateFile /mnt/SU1/letsencrypt/config/live/xyz---/fullchain.pem
    SSLCertificateKeyFile /mnt/SU1/letsencrypt/config/live/xyz---/privkey.pem
    Header always set Strict-Transport-Security "max-age=15768000"

    LogLevel trace6
</VirtualHost>

我确信这不是与网络相关的问题，因为：

  1. 仅在启用 SSL 的情况下发生，在非 ssl 虚拟主机上我可以毫无问题地下载；
  2. 其他协议（FTP 和 SCP）可以很好地下载相同的测试文件；
  3. 使用 iperf3 测试网络时没有问题。

一些系统信息:

lsb_release -a
No LSB modules are available.
Distributor ID: Debian
Description:    Debian GNU/Linux 9.6 (stretch)
Release:        9.6
Codename:       stretch

uname -a
Linux testxyz 4.4.162-rk3399 #41 SMP Fri Oct 26 14:03:47 CEST 2018 aarch64 GNU/Linux

apache2ctl -V | grep -i "Server version"
Server version: Apache/2.4.25 (Debian)
root@testxyz:~# dpkg -l |grep apache2
ii  apache2                         2.4.25-3+deb9u6                                       arm64        Apache HTTP Server
ii  apache2-bin                     2.4.25-3+deb9u6                                       arm64        Apache HTTP Server (modules and other binary files)
ii  apache2-data                    2.4.25-3+deb9u6                                       all          Apache HTTP Server (common files)
ii  apache2-utils                   2.4.25-3+deb9u6                                       arm64        Apache HTTP Server (utility programs for web servers)
ii  libapache2-mod-php7.3           7.3.0-2+0~20181217092659.24+stretch~1.gbp54e52f       arm64        server-side, HTML-embedded scripting language (Apache 2 module)

我怎样才能解决这个问题？谢谢。

答案1

我设法发现这问题与RK3399 CPU 的集成以太网和已知问题。使用 USB 3 转以太网适配器就不会出现此问题。

像 RK3399 这样的板需要禁用 TCP/UDP 卸载以避免重传和重置错误。这已经由 Ayufan 在 Rock64 和 RockPro64 Rootfs 上实现，DietPi 也需要这个。

解决此问题的一个简单方法是禁用卸载：

ethtool -K eth0 rx off tx off

之后您可以使用 检查卸载状态ethtool --show-offload eth0。禁用卸载功能后，我不再遇到报告的问题。

为了在重启后生存（和网络重新启动）您可以创建一个/etc/network/if-up.d/disable-offload类似于以下的脚本：

#!/bin/bash
/sbin/ethtool -K eth0 rx off tx off

（请确保不要使用 .sh 命名该文件并 chmod +x 该文件）

相关内容