对 62GB 文件进行 uniq 排序需要多长时间?

对 62GB 文件进行 uniq 排序需要多长时间?

我对一个 62GB 的文件运行了 5 个小时的命令sort file1 | uniq > file2,我只是想知道它需要多长时间。

我有一块 Intel® Core™ i7-4510U CPU @ 2.00GHz × 4 ,配备 8GB RAM。

我跑的话会更快吗sort --parallel=4 -uo file2 file1

答案1

这将花费很长时间。确切的时间取决于很多因素,例如文件是否有很多重复的行,或者文件是否已经排序或非常混乱。无法从您的系统规格中判断。

是的,最后一个命令会快得多,特别是因为它可以在工作时删除重复项,而不必保留它们。但是,您需要file2 file1在末尾,因为-o选项的参数来自紧接着 -o

也可以看看另一个答案是增加niceionice加快速度,但以减慢其他一切速度为代价(也许到了冻结其他任务的地步)。

相关内容