Linux 最大线程数

Question

我的服务器一直在 Amazon Ec2 linux 上运行。我里面有一个 mongodb 服务器。 mongodb 服务器一直在高负载下运行，不幸的是，我遇到了一个问题：/

众所周知，mongodb 为每个客户端连接创建新线程，这在之前工作得很好。不知道为什么，MongoDB 无法以非特权用户身份在主机上创建超过 975 个连接（它在 mongod 用户下运行）。但是当我以 root 用户身份运行它时，它最多可以处理 20000 个连接（mongodb 内部限制）。但是，进一步的调查表明，问题不在于 MongoDB 服务器，而在于 Linux 本身。

我找到了一个简单的程序，它检查最大连接数：

/* compile with:   gcc -lpthread -o thread-limit thread-limit.c */
/* originally from: http://www.volano.com/linuxnotes.html */

#include <stdlib.h>
#include <stdio.h>
#include <unistd.h>
#include <pthread.h>
#include <string.h>

#define MAX_THREADS 100000
#define PTHREAD_STACK_MIN 1*1024*1024*1024
int i;

void run(void) {
  sleep(60 * 60);
}

int main(int argc, char *argv[]) {
  int rc = 0;
  pthread_t thread[MAX_THREADS];
  pthread_attr_t thread_attr;

  pthread_attr_init(&thread_attr);
  pthread_attr_setstacksize(&thread_attr, PTHREAD_STACK_MIN);

  printf("Creating threads ...\n");
  for (i = 0; i < MAX_THREADS && rc == 0; i++) {
    rc = pthread_create(&(thread[i]), &thread_attr, (void *) &run, NULL);
    if (rc == 0) {
      pthread_detach(thread[i]);
      if ((i + 1) % 100 == 0)
    printf("%i threads so far ...\n", i + 1);
    }
    else
    {
      printf("Failed with return code %i creating thread %i (%s).\n",
         rc, i + 1, strerror(rc));

      // can we allocate memory?
      char *block = NULL;
      block = malloc(65545);
      if(block == NULL)
        printf("Malloc failed too :( \n");
      else
        printf("Malloc worked, hmmm\n");
    }
  }
sleep(60*60); // ctrl+c to exit; makes it easier to see mem use
  exit(0);
}

并且再次重复这种情况，作为 root 用户，我可以创建大约 32k 线程，作为非特权用户（ mongod 或 ec2-user ）大约 1000 。

这是 root 用户的 ulimit：

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 59470
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 60000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 8192
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

这是 mongod 用户的 ulimit：

core file size          (blocks, -c) 0
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 59470
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 60000
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 1024
cpu time               (seconds, -t) unlimited
max user processes              (-u) 1024
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

内核最大线程数：

bash-4.1$ cat /proc/sys/kernel/threads-max 
118940

SELinux 已禁用。不知道如何解决这个奇怪的问题......可能有人知道吗？

Answer 1

你的问题就是max user processes极限。

来自getrlimit(2)手册页：

RLIMIT_NPROC 可以为调用进程的真实用户 ID 创建的最大进程数（或者更准确地说，在 Linux 上为线程数）。遇到此限制时，fork(2)会失败并出现错误EAGAIN。

同样适用于pthread_create(3):

EAGAIN资源不足，无法创建另一个线程，或者遇到系统对线程数施加的限制。后一种情况可能以两种方式发生：达到RLIMIT_NPROC软资源限制（通过 设置setrlimit(2)），该限制限制真实用户 ID 的进程数量；或者/proc/sys/kernel/threads-max达到了内核系统范围内的线程数限制 , 。

增加用户的限制，它应该能够创建更多线程，直到达到其他资源限制。
或者简单的资源耗尽 - 对于 1Mb 堆栈和 20k 线程，您将需要大量 RAM。
也可以看看NPTL 将最大线程数限制为 65528？:/proc/sys/vm/max_map_count在某些时候可能会成为一个问题。

侧面观点：您应该使用-pthread而不是-lpthread.看gcc - 编译时 -pthread 标志的意义。

Answer 2

当 mongo 客户端 (java) 的连接问题被中断（似乎是由 AWS 网络中断）时，我们遇到了这个问题。当 TCP_KEEPALIVE 设置为 7200（2 小时）时，连接池中的连接会在这 2 小时窗口内建立起来，当达到 975 个连接时，mongod 就会终止。

mongo 生产清单建议保持活动的时间要短得多（5 分钟）；设置也应该可以帮助您避免连接限制。