**************************** 1. 行 **************************** 类型:InnoDB 名称: 状态:

**************************** 1. 行 **************************** 类型:InnoDB 名称: 状态:

我们已将数据库从 Mysql 版本 5.1.73 MyISAM 迁移到 Mariadb 10.3.26 Innodb 引擎。从那时起,我们观察到插入速度很慢,并且 Mysqld 进程的 CPU 使用率非常高。

我们的my.cnf如下。

[mysqld]
sql_mode=ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
datadir=/var/lib/mariadb/data
socket=/var/lib/mariadb/mysql.sock
transaction-isolation = READ-COMMITTED

symbolic-links = 1

port = 3306
key_buffer_size = 32M
max_allowed_packet = 500M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
tmpdir=/var/lib/mariadb/tmp
tmp_table_size= 2GB


max_connections = 2048
expire_logs_days = 2
max_binlog_size = 100M


log_bin=/var/lib/mariadb/mysql_binary_log/mysql_binlog
server_id=1

binlog_format = mixed

read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M

# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 410G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
log_warnings = 1

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid


#!includedir /etc/my.cnf.d
[client]
socket=/var/lib/mariadb/mysql.sock

请建议我们可以做些什么来解决这个问题。设置 innodb_page_cleaners = 1 能解决 CPU 使用率问题吗?

数据库大小为 800GB

问候,帕德米尼

答案1

感谢你的建议..

我将关闭查询缓存并更改插入的提交频率。

另外,请查看 innodb 状态 o/p 以了解任何可能的发现。为了安全起见,我已删除了 ips 和 SQL。

**************************** 1. 行 **************************** 类型:InnoDB 名称: 状态:

2020-12-28 15:23:03 0x7f53a87e0700 INNODB 监视器输出

从过去 31 秒计算出的每秒平均值

背景线程

srv_master_thread 循环:8128 srv_active、0 srv_shutdown、431935 srv_idle srv_master_thread 日志刷新和写入:440060

信号量

OS WAIT ARRAY INFO:预留计数 30709730 OS WAIT ARRAY INFO:信号计数 421296865 RW-shared 自旋 1115208207,轮数 2687646128,OS 等待 22420145 RW-excl 自旋 30775840,轮数 277954745,OS 等待 6958561 RW-sx 自旋 245636,轮数 3976023,OS 等待 58477 每次等待的自旋轮数:2.41 RW-shared、9.03 RW-excl、16.19 RW-sx

交易

Trx id 计数器 91991569 清除 trx 的 n:o < 91770847 撤消 n:o < 0 状态:正在运行但空闲历史列表长度 110153 每个会话的事务列表: ---事务 421472262604096,未启动 0 锁结构,堆大小 1128,0 行锁 ---事务 421472262566152,未启动 0 锁结构,堆大小 1128,0 行锁 ---事务 421472262599880,活动 3 秒进入 InnoDB mysql 表使用前休眠 1,锁定 0 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 id 228426,OS 线程句柄 139997076879104,查询 ID 58188566 统计信息 SELECT 查询 ---TRANSACTION 421472262591448,ACTIVE 6 秒,在进入 InnoDB 之前处于休眠状态 mysql 正在使用的表 1,已锁定 0 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 ID 228425,OS 线程句柄 139997278693120,查询 ID 58188561 根统计信息 SELECT ---TRANSACTION 421472262587232,ACTIVE 7 秒,线程在 InnoDB 4123 内部声明 mysql 正在使用的表 8,已锁定 1 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 ID 228423,OS 线程句柄 139538942158592,查询 ID 58188555 root 创建排序索引 CREATE TEMPORARY TABLE Trx 读取视图将看不到 id >= 91991569 的 trx,看到 < 91991569 ---TRANSACTION 421472262574584,ACTIVE 25 秒获取行,线程在 InnoDB 4798 mysql 表内部声明在使用中 8,锁定 1 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 ID 228404,OS 线程句柄 139538945943296,查询 ID 58186884 创建排序索引 CREATE TEMPORARY TABLE Trx 读取视图将看不到 id >= 91990920,看到<91990920 ---TRANSACTION 421472262578800,ACTIVE 120 秒获取行,线程在 InnoDB 1141 mysql 表内声明正在使用 8,锁定 1 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 ID 228335,OS 线程句柄 139538945132288,查询 ID 58178904 root 创建排序索引 CREATE TEMPORARY TABLE ---TRANSACTION 421472262625176,ACTIVE 243 秒获取行,线程在 InnoDB 1141 mysql 表内声明正在使用 8,锁定 1 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 ID 228257,OS 线程句柄 139538941347584,查询 ID 58176235 创建排序索引 CREATE TEMPORARY TABLE

Trx 读取视图将看不到 id > = 91986376 的 trx,看到 < 91986376 ---TRANSACTION 421472262616744,ACTIVE 236 秒获取行,InnoDB 1141 内部声明的线程正在使用 mysql 表 8,锁定 1 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 id 228254,OS 线程句柄 139539194201856,查询 id 58176270 root 创建排序索引 CREATE TEMPORARY TABLE SELECT,Trx 读取视图将看不到 id > = 91986377 的 trx,看到 < 91986377 ---TRANSACTION 421472262612528,ACTIVE 247 sec 获取行,线程在 InnoDB 1141 内部声明正在使用的 mysql 表 8,锁定 1 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 ID 228252,OS 线程句柄 139997285033728,查询 ID 58175990 root 创建排序索引 CREATE TEMPORARY TABLE Trx 读取视图将看不到 id >= 91986373 的 trx,看到 < 91986373 ---TRANSACTION 421472262595664,ACTIVE 311 sec 获取行,线程在 InnoDB 1141 内部声明正在使用的 mysql 表 8,锁定 1 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 ID 228205,OS 线程句柄139997077149440,查询 ID 58173387 根创建排序索引 CREATE TEMPORARY TABLE

Trx 读取视图将看不到 id >= 91985372 的 trx,看到 < 91985372 ---TRANSACTION 421472262608312,未启动 0 锁结构,堆大小 1128,0 行锁 ---TRANSACTION 421472262650472,未启动 0 锁结构,堆大小 1128,0 行锁 ---TRANSACTION 421472262583016,ACTIVE 4510 秒获取行,线程在 InnoDB 4879 mysql 表内部声明正在使用 11,锁定 0 0 锁结构,堆大小 1128,0 行锁 MySQL 线程 id 224972,OS 线程句柄 139997278963456,查询 ID 57666902 根发送数据 SELECT Trx 读取视图将看不到 id >= 91770846 的 trx,看到 < 91770846 ---TRANSACTION 421472262570368,在进入 InnoDB mysql 表使用前未开始休眠,已锁定 7 0 锁结构,堆大小 1128,0 行锁 ---TRANSACTION 421472262561936,未启动 0 锁结构,堆大小 1128,0 行锁

文件输入/输出

I/O 线程 0 状态:等待完成的 aio 请求(插入缓冲区线程) I/O 线程 1 状态:等待完成的 aio 请求(日志线程) I/O 线程 2 状态:等待完成的 aio 请求(读取线程) I/O 线程 3 状态:等待完成的 aio 请求(读取线程) I/O 线程 4 状态:等待完成的 aio 请求(读取线程) I/O 线程 5 状态:等待完成的 aio 请求(读取线程) I/O 线程 6 状态:等待完成的 aio 请求(写入线程) I/O 线程 7 状态:等待完成的 aio 请求(写入线程) I/O 线程 8 状态:等待完成的 aio 请求(写入线程) I/O 线程 9 状态:等待完成的 aio 请求(写入线程) 待处理的正常 aio 读取:[0, 0, 0, 0],aio 写入:[0, 0, 0, 0],ibuf aio 读取:,日志 i/o:,同步 i/o:待处理刷新(fsync)日志:0;缓冲池:0 21568038 OS 文件读取,55947091 OS 文件写入,5176098 OS fsyncs 0.00 读取/秒,0 平均字节/读取,110.61 写入/秒,12.26 fsyncs/秒

插入缓冲区和自适应哈希索引

Ibuf:大小 1,空闲列表长度 327,段大小 329,29895 合并 合并的操作:插入 310690,删除标记 2804937,删除 98025 丢弃的操作:插入 0,删除标记 0,删除 0 哈希表大小 108898523,节点堆有 468 个缓冲区 哈希表大小 108898523,节点堆有 4886 个缓冲区 哈希表大小 108898523,节点堆有 1174 个缓冲区 哈希表大小 108898523,节点堆有 804827 个缓冲区 哈希表大小 108898523,节点堆有 206 个缓冲区 哈希表大小 108898523,节点堆有 11802 个缓冲区哈希表大小 108898523,节点堆有 10235 个缓冲区 哈希表大小 108898523,节点堆有 6018 个缓冲区 2282.60 次哈希搜索/秒,168.19 次非哈希搜索/秒

日志

日志序列号 1631035877442 日志刷新至 1631035877442 页面刷新至 1631035877442 最后一个检查点位于 1631035877433 0 个待处理的日志刷新,0 个待处理的 chkp 写入 30700890 个日志 i/o 完成,55.68 个日志 i/o/秒

缓冲池和内存

分配的大内存总量 449826521088 分配的字典内存 209792 缓冲池大小 26868120 可用缓冲区 2315898 数据库页面 23712605 旧数据库页面 8753125 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 年轻页面 18707,非年轻页面 0 0.00 年轻页面/秒,0.00 非年轻页面/秒 页面读取 21568383,创建 2144222,写入 23631157 0.00 读取/秒,0.74 创建/秒,50.68 写入/秒 缓冲池命中率 1000 / 1000,年轻化率 0 / 1000 不是 0 / 1000 页面预读 0.00/s,未经访问即被驱逐 0.00/s,随机预读 0.00/s LRU 长度:23712605,unzip_LRU 长度:0 I/O sum[0]:cur[0],unzip sum[0]:cur[0]

单个缓冲池信息

---BUFFER POOL 0 缓冲池大小 3358720 可用缓冲区 281768 数据库页面 2972​​171 旧数据库页面 1097131 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2433,非年轻页面 0 0.00 年轻页面/秒、0.00 非年轻页面/秒 页面读取 2704251、创建 267920、写入 7476898 0.00 读取/秒、0.00 创建/秒、19.42 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 不是 0 / 1000 提前读取页面0.00/s,未经访问即被驱逐 0.00/s,随机预读 0.00/s LRU 长度:2972171,unzip_LRU 长度:0 I/O sum[0]:cur[0],unzip sum[0]:cur[0] ---BUFFER POOL 1 缓冲池大小 3358310 可用缓冲区 293950 数据库页面 2959617 旧数据库页面 1092494 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0,刷新列表 0,单页 0 页面变为年轻 2226,不是年轻 0 0.00 年轻/秒,0.00 非年轻/秒 页面读取 2692983,创建 266634,写入994418 0.00 读取/秒、0.03 创建/秒、1.10 写入/秒 缓冲池命中率 1000 / 1000,年轻化率 0 / 1000 不是 0 / 1000 提前读取页面 0.00/秒,未经访问即驱逐 0.00/秒,随机提前读取 0.00/秒 LRU 长度:2959617,unzip_LRU 长度:0 I/O sum[0]:cur[0],unzip sum[0]:cur[0] ---BUFFER POOL 2 缓冲池大小 3358720 可用缓冲区 294486 数据库页面 2959458 旧数据库页面 1092436 已修改数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0待处理的写入:LRU 0、刷新列表 0、单页 0 年轻的页面 2374,非年轻的页面 0 0.00 年轻的页面/秒,非年轻的页面 0.00 非年轻的页面/秒 读取的页面 2692116、创建的页面 267342、写入的页面 1400586 0.00 读取/秒、0.71 创建/秒、5.06 写入/秒 缓冲池命中率 1000 / 1000,年轻的生成率 0 / 1000 非 0 / 1000 提前读取的页面 0.00/秒,未经访问而被驱逐的页面 0.00/秒,随机提前读取的页面 0.00/秒 LRU 长度:2959458,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0] ---BUFFER POOL 3 缓冲池大小3358310 可用缓冲区 279408 数据库页面 2973878 旧数据库页面 1097759 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2419,非年轻页面 0 0.00 年轻页面/秒、0.00 非年轻页面/秒 页面读取 2705442、创建 268436、写入 5297912 0.00 读取/秒、0.00 创建/秒、14.42 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 不是 0 / 1000 页面提前读取 0.00/秒,未经访问即被驱逐0.00/s,随机预读 0.00/s LRU 长度:2973878,unzip_LRU 长度:0 I/O 总和[0]:cur[0],unzip 总和[0]:cur[0] ---BUFFER POOL 4 缓冲池大小 3358720 可用缓冲区 310866 数据库页面 2942617 旧数据库页面 1086219 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75。000 待处理的读取 0 待处理的写入:LRU 0、刷新列表 0、单页 0 制成年轻的页面 2189,不是年轻的 0 0.00 年轻人/秒,0.00 非年轻人/秒 页面读取 2671221,创建 271396,写入 4720179 0.00 读取/秒,0.00 创建/秒,9.35 写入/秒 缓冲池命中率 1000 / 1000,年轻化率 0 / 1000 不是 0 / 1000 提前读取的页面 0.00/秒,未经访问而被驱逐 0.00/秒,随机提前读取 0.00/秒 LRU 长度:2942617,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0] ---缓冲池5 缓冲池大小 3358310 可用缓冲区 282190 数据库页面 2971125 旧数据库页面 1096743 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2410,非年轻页面 0 0.00 年轻页面/秒,0.00 非年轻页面/秒 页面读取 2702315,创建 268810,写入 1055279 0.00 读取/秒,0.00 创建/秒,0.58 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 非 0 / 1000 提前读取页面 0.00/秒,未经访问而被驱逐 0.00/s,随机预读 0.00/s LRU 长度:2971125,unzip_LRU 长度:0 I/O sum[0]:cur[0],unzip sum[0]:cur[0] ---BUFFER POOL 6 缓冲池大小 3358720 可用缓冲区 287692 数据库页面 2966288 旧数据库页面 1094957 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0,刷新列表 0,单页 0 页面变为年轻 2430,非年轻 0 0.00 年轻/秒,0.00 非年轻/秒 页面读取 2701700,创建 264588,写入 1357268 0.00 读取/秒,0.00 创建/秒,0.19 写入/秒 缓冲池命中率 1000 / 1000,年轻化率 0 / 1000 不是 0 / 1000 提前读取页面 0.00/秒,未经访问即驱逐 0.00/秒,随机提前读取 0.00/秒 LRU 长度:2966288,unzip_LRU 长度:0 I/O sum[0]:cur[0],unzip sum[0]:cur[0] ---BUFFER POOL 7 缓冲池大小 3358310 可用缓冲区 285538 数据库页面 2967451 旧数据库页面 1095386 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0,刷新列表 0,单页 0 页面制成年轻 2226,非年轻 0 0.00 年轻人/秒,0.00 非年轻人/秒 页面读取 2698355,创建 269096,写入 1328617 0.00 读取/秒,0.00 创建/秒,0.55 写入/秒 缓冲池命中率 1000 / 1000,年轻化率 0 / 1000 非 0 / 1000 页面预读 0.00/秒,未经访问而被驱逐 0.00/秒,随机预读 0.00/秒 LRU 长度:2967451,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0]cur[0] ---BUFFER POOL 5 缓冲池大小 3358310 可用缓冲区 282190 数据库页面 2971125 旧数据库页面 1096743 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2410,非年轻页面 0 0.00 年轻页面/秒,0.00 非年轻页面/秒 页面读取 2702315,创建 268810,写入 1055279 0.00 读取/秒,0.00 创建/秒,0.58 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 非 0 / 1000提前读取的页面 0.00/s,未经访问而被驱逐的页面 0.00/s,提前随机读取 0.00/s LRU 长度:2971125,unzip_LRU 长度:0 I/O sum[0]:cur[0],unzip sum[0]:cur[0] ---BUFFER POOL 6 缓冲池大小 3358720 可用缓冲区 287692 数据库页面 2966288 旧数据库页面 1094957 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0,刷新列表 0,单页 0 制成年轻页面 2430,不年轻 0 0.00 年轻/秒,0.00 非年轻/秒 读取的页面 2701700,已创建264588,已写入 1357268 0.00 读取/秒,0.00 创建/秒,0.19 写入/秒 缓冲池命中率 1000 / 1000,年轻化率 0 / 1000 不是 0 / 1000 提前读取页面 0.00/秒,未经访问即驱逐 0.00/秒,随机提前读取 0.00/秒 LRU 长度:2966288,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0] ---BUFFER POOL 7 缓冲池大小 3358310 可用缓冲区 285538 数据库页面 2967451 旧数据库页面 1095386 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比: 75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2226,非年轻页面 0 0.00 年轻页面/秒、0.00 非年轻页面/秒 页面读取 2698355、创建 269096、写入 1328617 0.00 读取/秒、0.00 创建/秒、0.55 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 非 0 / 1000 页面预读 0.00/秒、未经访问即被驱逐 0.00/秒、随机预读 0.00/秒 LRU 长度:2967451,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0]cur[0] ---BUFFER POOL 5 缓冲池大小 3358310 可用缓冲区 282190 数据库页面 2971125 旧数据库页面 1096743 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2410,非年轻页面 0 0.00 年轻页面/秒,0.00 非年轻页面/秒 页面读取 2702315,创建 268810,写入 1055279 0.00 读取/秒,0.00 创建/秒,0.58 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 非 0 / 1000提前读取的页面 0.00/s,未经访问而被驱逐的页面 0.00/s,提前随机读取 0.00/s LRU 长度:2971125,unzip_LRU 长度:0 I/O sum[0]:cur[0],unzip sum[0]:cur[0] ---BUFFER POOL 6 缓冲池大小 3358720 可用缓冲区 287692 数据库页面 2966288 旧数据库页面 1094957 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0,刷新列表 0,单页 0 制成年轻页面 2430,不年轻 0 0.00 年轻/秒,0.00 非年轻/秒 读取的页面 2701700,已创建264588,已写入 1357268 0.00 读取/秒,0.00 创建/秒,0.19 写入/秒 缓冲池命中率 1000 / 1000,年轻化率 0 / 1000 不是 0 / 1000 提前读取页面 0.00/秒,未经访问即驱逐 0.00/秒,随机提前读取 0.00/秒 LRU 长度:2966288,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0] ---BUFFER POOL 7 缓冲池大小 3358310 可用缓冲区 285538 数据库页面 2967451 旧数据库页面 1095386 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比: 75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2226,非年轻页面 0 0.00 年轻页面/秒、0.00 非年轻页面/秒 页面读取 2698355、创建 269096、写入 1328617 0.00 读取/秒、0.00 创建/秒、0.55 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 非 0 / 1000 页面预读 0.00/秒、未经访问即被驱逐 0.00/秒、随机预读 0.00/秒 LRU 长度:2967451,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0]LRU 0,刷新列表 0,单页 0 页面生成年轻 2430,非年轻 0 0.00 年轻/秒,0.00 非年轻/秒 页面读取 2701700,创建 264588,写入 1357268 0.00 读取/秒,0.00 创建/秒,0.19 写入/秒 缓冲池命中率 1000 / 1000,年轻生成率 0 / 1000 非 0 / 1000 页面提前读取 0.00/秒,未经访问而被驱逐 0.00/秒,随机提前读取 0.00/秒 LRU 长度:2966288,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0] ---BUFFER POOL 7 缓冲池大小 3358310 空闲缓冲区 285538 数据库页面 2967451 旧数据库页面 1095386 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2226,非年轻页面 0 0.00 年轻页面/秒、0.00 非年轻页面/秒 页面读取 2698355、创建 269096、写入 1328617 0.00 读取/秒、0.00 创建/秒、0.55 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 不是 0 / 1000 页面提前读取 0.00/秒,未经访问即驱逐 0.00/秒,随机读取提前 0.00/s LRU 长度:2967451,解压缩_LRU 长度:0 I/O 总和[0]:cur[0],解压缩总和[0]:cur[0]LRU 0,刷新列表 0,单页 0 页面生成年轻 2430,非年轻 0 0.00 年轻/秒,0.00 非年轻/秒 页面读取 2701700,创建 264588,写入 1357268 0.00 读取/秒,0.00 创建/秒,0.19 写入/秒 缓冲池命中率 1000 / 1000,年轻生成率 0 / 1000 非 0 / 1000 页面提前读取 0.00/秒,未经访问而被驱逐 0.00/秒,随机提前读取 0.00/秒 LRU 长度:2966288,unzip_LRU 长度:0 I/O sum[0]:cur[0],解压缩 sum[0]:cur[0] ---BUFFER POOL 7 缓冲池大小 3358310 空闲缓冲区 285538 数据库页面 2967451 旧数据库页面 1095386 已修改的数据库页面 0 脏页百分比(LRU 和可用页面):0.000 最大脏页百分比:75.000 待处理读取 0 待处理写入:LRU 0、刷新列表 0、单页 0 制成年轻页面 2226,非年轻页面 0 0.00 年轻页面/秒、0.00 非年轻页面/秒 页面读取 2698355、创建 269096、写入 1328617 0.00 读取/秒、0.00 创建/秒、0.55 写入/秒 缓冲池命中率 1000 / 1000,制成年轻页面率 0 / 1000 不是 0 / 1000 页面提前读取 0.00/秒,未经访问即驱逐 0.00/秒,随机读取提前 0.00/s LRU 长度:2967451,解压缩_LRU 长度:0 I/O 总和[0]:cur[0],解压缩总和[0]:cur[0]

行操作

InnoDB 内部有 8 个查询,队列中有 3 个查询 InnoDB 内部打开了 8 个读取视图 进程 ID=4487,主线程 ID=139539341866752,状态:休眠 插入的行数为 149186838,更新了 39010,删除了 921469,读取了 233065780693 27.03 次插入/秒,0.00 次更新/秒,0.00 次删除/秒,2432.12 次读取/秒 系统行数插入为 0,更新了 0,删除了 0,读取了 0 0.00 次插入/秒,0.00 次更新/秒,0.00 次删除/秒,0.00 次读取/秒

INNODB 监视器输出结束

临时表语句:

创建临时表测试选择'testData',data_test.a_id 作为 a_id,data_test.d_name_id 作为 d_name_id,data_test.c_id 作为 c_id,data_test.b_id 作为 b_id,data_test.meas_e_name_id 作为 meas_e_name_id,data_test.recipe_id 作为 recipe_id,MIN(data_test.date_time) 作为“start”,MAX(data_test.date_time) 作为“end”,ep,COUNT() 作为 f, COUNT() - COUNT(底部)

答案2

对于 ACID,InnoDB(与 MyISAM 不同)会采取措施避免数据丢失。这包括每次事务的磁盘命中。(是的,innodb_flush_log_at_trx_commit = 2减轻了这种打击。)

可能发生的情况是,您每次使用 插入一行autocommit=ON?每秒插入多少行?

计划A: BEGIN; several inserts; COMMIT; ——每次推荐100-1000个。

B 计划:批量INSERT——INSERT ... VALUES (...), (...), ...

计划 C:对于相当高的摄入率,请参阅http://mysql.rjweb.org/doc.php/staging_table

其他事宜...

  • 查询缓存可能应该被关闭。 每一个写入表格原因全部清除该表的 QC 中的条目。高摄取率意味着 QC 是无用的(对于该表)。
  • 请提供SHOW CREATE TABLE其他可能的提示。

相关内容