Mysql 需要超过 12 个小时才能读取 1 GB 的每行 2 列的 XML 文件

Mysql 需要超过 12 个小时才能读取 1 GB 的每行 2 列的 XML 文件

我按照 mysql 手册的建议做了。我需要将 2 列从一个数据库导出到另一个数据库。

所以我将这两列导出为 XML,并将其分成大约 1 GB 的小文件。

现在我尝试在目标服务器(相当强大的 AWS 服务器)上解析它们。

Query   47739   reading file    LOAD XML LOCAL INFILE '/data/cold/xml/experience100.xml' IGNORE INTO table history  0.000

它卡在了 47700 秒“读取”文件的时间里。一分钟就可以读取!我想我可以在一小时内用 qbasic 解析它。

nvme2n1           0.37        46.93         0.00       2816          0

它以每秒 50 kb 的速度读取 XML 文件。我原本预计每秒 100mb

版本是 mysql Ver 15.1 Distrib 10.2.14-MariaDB

更新: 我进行了测试并从文件中删除了大部分行。它运行良好(速度为 50kb/秒...)

问题在于解析速度,而不是文件内容。

相关内容