![对 62GB 文件进行 uniq 排序需要多长时间?](https://linux22.com/image/880880/%E5%AF%B9%2062GB%20%E6%96%87%E4%BB%B6%E8%BF%9B%E8%A1%8C%20uniq%20%E6%8E%92%E5%BA%8F%E9%9C%80%E8%A6%81%E5%A4%9A%E9%95%BF%E6%97%B6%E9%97%B4%EF%BC%9F.png)
我对一个 62GB 的文件运行了 5 个小时的命令sort file1 | uniq > file2
,我只是想知道它需要多长时间。
我有一块 Intel® Core™ i7-4510U CPU @ 2.00GHz × 4 ,配备 8GB RAM。
我跑的话会更快吗sort --parallel=4 -uo file2 file1
?
答案1
这将花费很长时间。确切的时间取决于很多因素,例如文件是否有很多重复的行,或者文件是否已经排序或非常混乱。无法从您的系统规格中判断。
是的,最后一个命令会快得多,特别是因为它可以在工作时删除重复项,而不必保留它们。但是,您需要file2 file1
在末尾,因为-o
选项的参数来自紧接着 -o
。
也可以看看另一个答案是增加nice
并ionice
加快速度,但以减慢其他一切速度为代价(也许到了冻结其他任务的地步)。