☰

MariaDB 减少每个线程的缓冲区 RAM 使用量

tag-icon • tag-icon memory mariadb buffer
MariaDB 减少每个线程的缓冲区 RAM 使用量

我正在寻找这个问题的答案，但在任何地方都找不到。

我想减少每个数据库连接的内存使用量。以下是 mysql tuner 目前对我的一个数据库的内存使用情况的说明：

[--] Physical Memory     : 985.2M
[--] Max MySQL memory    : 950.4M
[--] Other process memory: 0B
[--] Total buffers: 292.0M global + 18.8M per thread (35 max threads)
[--] P_S Max memory usage: 0B
[--] Galera GCache Max memory usage: 0B
[OK] Maximum reached memory usage: 310.8M (31.55% of installed RAM)
[!!] Maximum possible memory usage: 950.4M (96.47% of installed RAM)

可以看到每个线程的内存使用率相当高1880万。下面是我的另一台服务器的输出：

[--] Total buffers: 400.0M global + 2.8M per thread (250 max threads)

您可以看到这里的内存使用量要低得多（仅 2.8M)，因此我可以与数据库建立更多连接。

我试图找出哪个变量控制每个线程的内存使用量，但什么也没找到。我认为它与 sort_buffer_size 或 read_buffer_size 有关，但当我更改其中一个变量时，每个线程的使用量似乎并没有下降。

在我看来，这根本不是我可以修改的东西，而且可能是根据每个线程的实际内存使用情况计算的？

我可以做些什么来减少每个线程的缓冲内存使用量？

编辑（2020-06-10）：这两个数据库之间的区别在于，第一个是 MariaDB 10.4.12 版本，而第二个是 MariaDB 10.1.38。如果我比较评论中提到的 sort_buffer_size、read_buffer_size、key_buffer_size 等变量，我看到的只是它们被设置为相同的值。

答案1

好的，经过进一步调查后，我终于明白了为什么这两个数字如此不同。

问题是，我在服务器上使用的是旧版本的 mysqltuner.pl，每个线程的最大内存使用量仅为 2.8 MB。6 个月前，mysqltuner.pl 也开始使用最大允许数据包数每个线程使用量计算中的变量值，增加了 16 MB，达到 18.8 MB。以下是 github 上的变化：https://github.com/major/MySQLTuner-perl/commit/c5765f02133259b40d9932eb7d35ba5c1665bad9 运行更新版本的 mysqltuner.pl 后，RAM 使用情况显示如下：

[--] Total buffers: 400.0M global + 18.8M per thread (250 max threads)

这些是用于计算每个线程的缓冲区使用量的变量（对于相对较新的 MariaDB 版本）：

read_buffer_size,
read_rnd_buffer_size,
sort_buffer_size,
thread_stack,
max_allowed_packet,
join_buffer_size

只有@Wilson Hauck 提到了 max_allowed_pa​​cket 变量；）

如果有人需要的话，可以使用以下查询来检查这些值：

SHOW GLOBAL VARIABLES WHERE variable_name IN('read_buffer_size', 'read_rnd_buffer_size', 'sort_buffer_size', 'thread_stack', 'max_allowed_packet', 'join_buffer_size');

因此，经过所有这些研究，我发现第二台服务器上允许的数据库连接数太高（250）。如果全部使用，我的数据库可以使用 5GB 的 RAM，而我在这个系统上只有 2GB。

对最初问题的实际答案： 因此，如果我想降低每个线程或每个连接的内存使用量（正如你们中的一些人提到的），我可能必须降低 max_allowed_pa​​cket 值，但我不确定这是否是个好主意。

感谢大家的帮助。

答案2

这是一个虚假的数字。它基于许多悲观的假设。即便如此，在一些非常极端的情况下，它还是被低估了。（这个指标没有很好的表达方式。）

您似乎有 1GB 的 RAM。虽然数量很少，但还是可行的。

（注意：当 RAM 不足时，就会发生交换。但是，由于 MariaDB 是在不进行交换的假设下进行优化的，因此交换会导致非常糟糕的性能。）

您是否还在这 1GB 内存中运行其他应用？如果是，情况就更加紧张了。

首先，检查innodb_buffer_pool_size。200M 可能太高。 max_connections最多应该是 20。这些应该在 10M 以下：tmp_table_size、max_heap_table_size、sort_buffer_size、innodb_log_buffer_size、read_buffer_size、read_rnd_buffer_size。

如果您想进一步分析，请参阅http://mysql.rjweb.org/doc.php/mysql_analysis#tuning

答案3

对你的问题的细致回答是：thread_stack_size 控制每个线程的内存。

任何其他变量与线程无关，尽管 max_connections 限制了线程数，但即使有数千个连接，您仍然可以使用一个线程（thread_handling = pool-of-threads，thread_pool_max_threads=1），尽管我不推荐这样做。

相关内容