☰

在压力测试中，AWS 系统无法执行 HEAD 请求，但很难执行 GET 请求

tag-icon • tag-icon amazon-web-services amazon-ec2 load-balancing amazon-elb stress-testing
在压力测试中，AWS 系统无法执行 HEAD 请求，但很难执行 GET 请求

我正在使用 Locust 进行压力测试：

  • c4.xlarge（攻击者有 c4.4xlarge）
  • 1 个实例
  • 亚马逊Linux 2017.03

负载均衡器是：

  • 经典型
  • 面向互联网
  • 80 和 443 的粘性均已禁用
  • 80 转发至 80
  • 443 转发至 80
  • 空闲超时为 60 秒
  • 已启用跨区域负载平衡
  • 访问日志已禁用
  • 启用连接耗尽，超时时间为 300 秒
  • 健康检查配置为：
    • Ping 目标：HTTP:80/status.html
    • 超时：5 秒
    • 间隔：30秒

我向具有相同分布的端点发送简单请求，HEAD每秒产生 1000 个用户，数量为 25000。对于 head 请求，我收到很多这些错误：GET/status.html

  • 504网关超时
  • 408，请求超时
  • 503，服务不可用：后端服务器已满

错误率约为 10%。但奇怪的是，对于该GET请求，我几乎没有收到任何错误。它甚至不到 1%。

为什么会发生这种情况？

如果您需要有关设置的更多详细信息，我可以提供。遗憾的是，我对 AWS 还很陌生，所以我不知道该提供什么。抱歉！

这是问题发生前来自生产 elb 的一些访问日志，抱歉到目前为止我无法获取压力测试的日志。

这里有一个504：

2019-04-26T02:41:20.330496Z XXX xxx.xxx.xxx.xxx:63054 xxx.xxx.xxx.xxx:80 0.000101 31.01214 0.00002 200 200 166 160 "POST https://my.endpoint.com/some_script HTTP/1.1" "Java/1.6.0_26" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:40.594005Z XXX xxx.xxx.xxx.xxx:50071 xxx.xxx.xxx.xxx:80 0.00006 10.751718 0.000021 200 200 0 159 "GET https://my.endpoint.com/some_script HTTP/1.1" "GuzzleHttp/6.3.3 curl/7.40.0 PHP/5.5.25" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:20.446229Z XXX xxx.xxx.xxx.xxx:63063 xxx.xxx.xxx.xxx:80 0.000065 30.900277 0.00002 200 200 0 161 "GET https://my.endpoint.com/some_script HTTP/1.1" "-" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:20.517259Z XXX xxx.xxx.xxx.xxx:56506 xxx.xxx.xxx.xxx:80 0.000053 30.829553 0.000018 200 200 0 161 "GET https://my.endpoint.com/some_script HTTP/1.1" "-" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:42.652118Z XXX xxx.xxx.xxx.xxx:50120 xxx.xxx.xxx.xxx:80 0.000069 8.69724 0.000024 401 401 60 48 "POST https://my.endpoint.com/some_script HTTP/1.1" "go-resty/1.10.2 (https://github.com/go-resty/resty)" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:51.360268Z XXX xxx.xxx.xxx.xxx:45201 - -1 -1 -1 504 0 146 0 "POST https://my.endpoint.com/some_script HTTP/1.1" "-" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:51.361199Z XXX xxx.xxx.xxx.xxx:50120 - -1 -1 -1 504 0 146 0 "POST https://my.endpoint.com/some_script HTTP/1.1" "-" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2

然后503：

2019-04-26T02:41:44.490135Z XXX xxx.xxx.xxx.xxx:50044 xxx.xxx.xxx.xxx:80 0.000062 28.220316 0.000019 200 200 0 320 "GET https://my.endpoint.com/some_script HTTP/1.1" "restify/4.3.1 (x64-linux; v8/5.1.281.111; OpenSSL/1.0.2n) node/6.12.3" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:32.082311Z XXX xxx.xxx.xxx.xxx:32882 xxx.xxx.xxx.xxx:80 0.000031 40.62881 0.000022 200 200 117 160 "POST https://my.endpoint.com/some_script HTTP/1.1" "-" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:43.859743Z XXX xxx.xxx.xxx.xxx:32781 xxx.xxx.xxx.xxx:80 0.000077 28.851417 0.000015 200 200 184 78 "POST https://my.endpoint.com/some_script HTTP/1.1" "GuzzleHttp/6.2.1 curl/7.53.1 PHP/5.6.38" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:51.532781Z XXX xxx.xxx.xxx.xxx:51094 xxx.xxx.xxx.xxx:80 0.000027 21.178497 0.000014 200 200 0 159 "GET https://my.endpoint.com/some_script HTTP/1.1" "GuzzleHttp/6.3.3 curl/7.40.0 PHP/5.5.25" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:51.568865Z XXX xxx.xxx.xxx.xxx:45267 xxx.xxx.xxx.xxx:80 0.000026 21.142531 0.00002 200 200 0 159 "GET https://my.endpoint.com/some_script HTTP/1.1" "GuzzleHttp/6.3.3 curl/7.40.0 PHP/5.5.25" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:46.195626Z XXX xxx.xxx.xxx.xxx:55182 xxx.xxx.xxx.xxx:80 0.000084 26.516262 0.000017 200 200 269 160 "POST https://my.endpoint.com/some_script HTTP/1.1" "Apache-HttpClient/4.0.3 (java 1.5)" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:41:42.982043Z XXX xxx.xxx.xxx.xxx:56428 xxx.xxx.xxx.xxx:80 0.000114 29.747779 0.000019 200 200 107 305 "POST https://my.endpoint.com/some_script HTTP/1.1" "Apache-HttpClient/4.0.3 (java 1.5)" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:42:13.543180Z XXX xxx.xxx.xxx.xxx:47351 - -1 -1 -1 503 0 0 0 "POST https://my.endpoint.com/some_script HTTP/1.1" "-" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2
2019-04-26T02:42:13.587978Z XXX xxx.xxx.xxx.xxx:47351 - -1 -1 -1 503 0 0 0 "POST https://my.endpoint.com/some_script HTTP/1.1" "-" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2

答案1

这是我最好的猜测。这是基于您告诉我们的少量信息而做出的猜测，而实际上您需要查看自动扩展组日志和实例日志。

理论

我怀疑您在负载均衡器上发送了大量请求，而没有对其进行预热。您有两个选择：

  • 预热负载均衡器通过联系 AWS 并告诉他们你预期的负载，它可以扩展
  • 逐渐增加负载，以便负载均衡器有机会扩展。这可能比您预期的要花更长的时间，因此我建议您最初至少花几个小时来扩展以适应高请求率。

ELB 背景

最初，负载均衡器可能是每个可用区中分配负载的一台小型虚拟服务器。随着负载的增加，AWS 会在后台添加更多或更大的服务器来分担负载，这就是 DNS 可以定期更改的原因。如果您在这些小型服务器上投入大量负载，它们将发生故障，可能会优先处理流量，而 GET 请求通常比 HEAD 请求更重要。

链接

有一个AWS 论坛上的相关主题，这似乎支持了我的理论。

你还应该看看AWS 网络压力页面以确保您没有创建 DDOS。

相关内容