nginx 和 memcached 协同工作效果如何?

nginx 和 memcached 协同工作效果如何?

我们有一个基于 Java EE 的 Web 应用程序运行在玻璃鱼应用服务器集群。传入流量主要是针对我们应用程序资源的基于 XML 表示的 RESTful 请求,但也许 5% 的流量可能是针对基于 JSON 或 XHTML/CSS 表示的。

我们现在正在研究负载平衡解决方案,以便在集群中的 Glassfish 实例之间分配传入流量。我们还在研究如何使用 memcached 来减轻集群的负担,memcached 是一个内存中的分布式哈希映射,其键是 REST 资源名称(例如“/user/bob”、“/group/jazzlovers”),其值是相应的 XML 表示。

一个听起来很有希望的方法是一举两得,使用轻量、快速的nginxHTTP 服务器/反向代理。Nginx 会首先在 memcached 中查找其 URI,以查看是否存在未过期的 XML 表示,从而处理每个传入请求。如果没有,nginx 会将请求发送到其中一个 Glassfish 实例。nginx memcached 模块的描述如下这篇简短的文章

您对以这种方式使用 nginx 和 memcached 的总体印象如何?您对它们有多满意?您认为哪些资源对了解它们最有帮助?如果您尝试过它们,但它们不适合您的目的,为什么没有,您用什么代替?

注意:这里有一个相关问题在我知道 ServerFault 之前,我问过这个问题堆栈溢出

编辑:尽管没有直接经验,但到目前为止这里的所有答案都非常有帮助。这个答案最终确实出现在 StackOverflow 上,并且对 nginx/memcached 设置非常看好。

答案1

您确实应该在 Web 服务器前面使用缓存服务器。我推荐 Varnish-cache。我们在斯堪的纳维亚半岛最大、最繁忙的网站上使用它。我们用 1 个 Varnish 盒替换了 13 个高负载的 Squid 盒,另外 1 个作为备用。

我在我的私人网站上对一个简单的应用程序进行了基准测试,它的请求数从每秒 9 个增加到超过 2000 个。

您可以决定将数据保存在内存中多长时间,您可以一直保存到时间结束,然后在数据发生变化时向缓存服务器发送 http 清除请求。

答案2

根据我的经验,我个人认为,如果您使用负载均衡器,则应该将该设备完全限制为负载均衡功能。让负载均衡器提供内容(即使是来自缓存的内容)也会在高负载情况下降低负载均衡功能(更多连接保持活动状态的时间更长,从而降低总体容量和吞吐量)。

我建议让应用程序本身进行查找并提供缓存内容,然后让负载平衡器完成其工作。话虽如此,nginx 在负载平衡方面并不完美 - 它只提供非常基本的循环算法。我建议改用 haproxy。根据我的经验,如果您需要前端 SSL 解密服务,nginx 放在 haproxy 前面效果很好。

答案3

我认为如果你需要诸如负载平衡、高可用性等东西,你就会走进死胡同。

另外,考虑这种情况:当用户通过身份验证后,页面看起来会有所不同,每个用户都有可用的附加功能,并且是个性化的。URL 相同,以方便链接等。例如,经过身份验证的用户不需要输入姓名/验证码进行评论的网站,或者当您登录时,网站会在顶部显示您的用户名(如 serverfault)。在这种情况下,nginx 将无法使用,因为您无法区分经过身份验证的用户和未经身份验证的用户。

如果您不需要 SSL,我建议您运行 Varnish。它被设计为 HTTP 加速器,而不是 Web 服务器或代理。如果您需要 SSL,请在其上运行 nginx 作为 SSL 加速器,并将 varnish 作为普通 HTTP 加速器,因为 Varnish 无法处理 SSL。

我认为缓存服务器的选择是特定于应用程序的,如果不对应用程序进行深入分析,就无法对此做出泛泛的评论。

答案4

我的选择是 haproxy。非常小巧、非常快速的反向代理,但不是缓存代理!我的缓存系统使用“Squid Web Proxy”

CACHE /squid/ -> Load-balancing /Haproxy/ -> WEB I /lighttpd/
                                          -> WEB II /lighttpd/
                                          -> WEB III /lighttpd/

这对于我的网络系统来说非常完美

相关内容