我们有许多通过 Tomcat 运行的 Web 服务,这些服务使用 hibernate/mysql。我怀疑其中一些服务的连接池配置不正确,因为几个小时后,一些单独的应用程序会用尽连接并停止响应。我们一直在对连接池服务(在本例中为 C3P0)进行更改,但我们仍需要在服务器上保留旧版本的应用程序以实现向后兼容。
无论如何,我怀疑这些应用程序也损害了 tomcat 的整体稳定性。大约每周一次,我们的服务器完全停止响应,甚至无法提供静态页面。重新启动服务后,一切又可以正常工作几天左右。查看日志几乎没有发现任何未捕获的异常,所以我不确定是什么导致 tomcat 崩溃。遗憾的是,在服务器停止响应之前,错误日志中没有列出任何值得注意的内容。
我们也正在考虑改用 JBoss,因为它更适合“企业”,但我不确定它能否解决这些问题。是否有任何令人信服的理由来切换 Web 平台,或者我应该在我们自己的 Web 应用程序内进一步调试?此外,Web 应用程序是否可能通过做一些坏事而导致应用程序服务器崩溃?
服务器配置:Windows 2003 Server、Tomcat 6.0.18 + blazeDS 3.0、Hibernate 3.2。
答案1
我认为没有人会答案解决您的问题,但只有线索和想法。以下是一些:
你需要机器人将检查你服务的每个部分的健康状况.(测试与数据库的单一连接、获取静态网页、获取动态网页……)。这样,您将看到首先出现故障或响应时间增加的情况。
你有没有监控/统计服务? 您需要跟踪“活动数据库连接数”、“活动 Web 会话数”、“tomcat 线程数”、“可用内存”、CPU……
我的建议是,没有剩余的 tomcat 进程,因为它们都卡在等待资源(可能是数据库连接,或者它们只是一个无限循环!)。我之前列出的工具肯定会帮助您了解为什么您的服务器每周都在慢慢死机。
- 在您的服务器上运行
netstat
并查看与数据库服务器的连接数(并根据您的池大小和数据库服务器容量进行检查)。 - 在您的应用服务器上运行 jstack 并剪切/grep/排序它们以查看您的线程正在做什么。
答案2
如果提供静态页面不需要任何数据库访问,那么这似乎不太可能是数据库资源问题。可能是所有池线程都卡在某个地方,例如等待数据库驱动器或陷入死锁。我要做的第一件事是使用 获取堆栈跟踪的快照。您可以使用或jstack
进一步查看该过程。visualvm
jconsole
答案3
只是想补充一点,MyISAM 表的表锁定问题很常见,很容易导致数据库连接堆积,并导致等待这些结果的应用程序停滞不前。
您可能需要检查 MySQL 进程列表以查看是否有大量查询处于锁定状态。
# mysqladmin processlist
- 或者 -
mysql> show processlist;
如果问题在于锁定,您将需要查看将问题表上的存储引擎从 MyISAM 更改为 InnoDB 是否可行。
答案4
如果你安装氧传感器webapp(获取 1.7 测试版)您可以获得线程级监控;密切关注这一点将告诉您何时线程因等待数据库而卡住,以及许多其他有用的诊断信息。
它有点旧但是在最近的 tomcat 版本中仍然可以正常运行。