我们计划拥有多个具有相同应用程序配置（数据分析管道）的高容量服务器，并希望根据每台服务器的可用容量向其发送包含数据流的请求（即从利用率最低的服务器开始，当所有服务器的利用率超过 70% 时停止请求）。我熟悉 AWS 的选项，但我对物理（非云）基础设施的最佳实践感兴趣。
答案1
95% 的问题取决于您尝试使用的负载均衡器。如果您尚未决定使用哪种特定的负载均衡器，则需要定义要平衡的内容。内存？CPU？网络流量？每秒请求数？IO？等等……没有可以完美平衡一切的“灵丹妙药”。
在大型集群中，大多数负载平衡都是通过循环 DNS 和几种不同类型的负载平衡器的组合来实现的。有 HTTP 负载平衡器、数据库服务器负载平衡器、应用程序负载平衡器、网络负载平衡器等……它们都根据特定要求进行监控和平衡。
要成功实现任何高质量的负载平衡，您需要从一开始就制定计划，并评估整个难题中的每个部分，以查找潜在的故障点和瓶颈。再说一遍，没有“一刀切”的解决方案。根据您的框架规模... 设计和维护负载平衡解决方案本身可能就是一项事业。