![大文件处理性能](https://linux22.com/image/158499/%E5%A4%A7%E6%96%87%E4%BB%B6%E5%A4%84%E7%90%86%E6%80%A7%E8%83%BD.png)
前一段时间我做了一个简单的csv处理性能测试,想与社区分享结果,也许你可以指出,什么测试可以更精确和公平。
首先我取出 42 MB 的csv
文件,如下所示:
图像的第一部分是csv
文件的真实内容,然后第二部分包含我想要处理的行。原理是:
If 3rd column contains "out" in the end of cell, then sum 5th coulumn
以下是各种工具处理该文件所花费的时间:
AWK AWK AWK
--- --- ---
real 0m0.627s real 0m0.626s real 0m0.631s
user 0m0.627s user 0m0.614s user 0m0.611s
sys 0m0.000s sys 0m0.012s sys 0m0.020s
PERL PERL PERL
---- ---- ----
real 0m0.931s real 0m0.946s real 0m0.933s
user 0m0.927s user 0m0.941s user 0m0.929s
sys 0m0.004s sys 0m0.004s sys 0m0.004s
BASH BASH BASH
------ ------ ------
real 0m0.186s real 0m0.173s real 0m0.184s
user 0m0.318s user 0m0.336s user 0m0.311s
sys 0m0.022s sys 0m0.022s sys 0m0.022s
PYTHON2 PYTHON2 PYTHON2
------ ------ ------
real 0m1.164s real 0m1.191s real 0m1.163s
user 0m1.144s user 0m1.162s user 0m1.155s
sys 0m0.020s sys 0m0.028s sys 0m0.008s
PYTHON3 PYTHON3 PYTHON3
------ ------ ------
real 0m1.377s real 0m1.392s real 0m1.377s
user 0m1.361s user 0m1.380s user 0m1.377s
sys 0m0.016s sys 0m0.012s sys 0m0.000s
AWK sum is 2181681 AWK sum is 2181681 AWK sum is 2181681
PERL sum is 2181681 PERL sum is 2181681 PERL sum is 2181681
BASH sum is 2181681 BASH sum is 2181681 BASH sum is 2181681
PYTHON2 sum is 2181681 PYTHON2 sum is 2181681 PYTHON2 sum is 2181681
PYTHON3 sum is 2181681 PYTHON3 sum is 2181681 PYTHON3 sum is 2181681
(我还将此文件连接了 3 次并获得了 126 MB 的数据,这导致时间增加了三倍)
Bash 获胜,接下来是 AWK,第三名是 Perl(但我读到了Perl 的性能优于 AWK 和 SED,是我的文件不够大吗?)。
让我有点惊讶的是 python 3 是什么慢点,而不是 python 2。这是为什么呢?
PS我使用的脚本已发布这里。这也是我的笔记本电脑文件处理的上限(如这文章)
time cat atbats.csv > /dev/null
real 0m0.013s
user 0m0.001s
sys 0m0.012s