大文件处理性能

大文件处理性能

前一段时间我做了一个简单的csv处理性能测试,想与社区分享结果,也许你可以指出,什么测试可以更精确和公平。

首先我取出 42 MB 的csv文件,如下所示:

csv数据

图像的第一部分是csv文件的真实内容,然后第二部分包含我想要处理的行。原理是: If 3rd column contains "out" in the end of cell, then sum 5th coulumn

以下是各种工具处理该文件所花费的时间:

AWK                          AWK                           AWK
---                          ---                           ---
real    0m0.627s             real   0m0.626s           real 0m0.631s
user    0m0.627s             user   0m0.614s           user 0m0.611s
sys     0m0.000s             sys    0m0.012s           sys  0m0.020s

PERL                         PERL                          PERL
----                         ----                          ----
real    0m0.931s             real   0m0.946s           real 0m0.933s
user    0m0.927s             user   0m0.941s           user 0m0.929s
sys     0m0.004s             sys    0m0.004s           sys  0m0.004s

BASH                         BASH                          BASH
------                       ------                        ------
real    0m0.186s             real   0m0.173s           real 0m0.184s
user    0m0.318s             user   0m0.336s           user 0m0.311s
sys     0m0.022s             sys    0m0.022s           sys  0m0.022s

PYTHON2                      PYTHON2                       PYTHON2
------                       ------                        ------
real    0m1.164s             real   0m1.191s           real 0m1.163s
user    0m1.144s             user   0m1.162s           user 0m1.155s
sys     0m0.020s             sys    0m0.028s           sys  0m0.008s

PYTHON3                      PYTHON3                       PYTHON3
------                       ------                        ------
real    0m1.377s             real   0m1.392s           real 0m1.377s
user    0m1.361s             user   0m1.380s           user 0m1.377s
sys     0m0.016s             sys    0m0.012s           sys  0m0.000s

AWK sum is 2181681           AWK sum is 2181681        AWK sum is 2181681
PERL sum is 2181681          PERL sum is 2181681       PERL sum is 2181681
BASH sum is 2181681          BASH sum is 2181681       BASH sum is 2181681
PYTHON2 sum is 2181681       PYTHON2 sum is 2181681    PYTHON2 sum is 2181681
PYTHON3 sum is 2181681       PYTHON3 sum is 2181681    PYTHON3 sum is 2181681

(我还将此文件连接了 3 次并获得了 126 MB 的数据,这导致时间增加了三倍)

Bash 获胜,接下来是 AWK,第三名是 Perl(但我读到了Perl 的性能优于 AWK 和 SED,是我的文件不够大吗?)。

让我有点惊讶的是 python 3 是什么慢点,而不是 python 2。这是为什么呢?

PS我使用的脚本已发布这里。这也是我的笔记本电脑文件处理的上限(如文章)

time cat atbats.csv > /dev/null 

real    0m0.013s
user    0m0.001s
sys     0m0.012s

相关内容