对非常大的文件进行排序的最快方法最好是使用进度条

对非常大的文件进行排序的最快方法最好是使用进度条

我有一个 200GB 的平面文件(每行一个单词),我想对该文件进行排序,然后删除重复项并从中创建一个干净的最终 TXT 文件。

我尝试过sort--parallel但它运行了 3 天,我感到沮丧并终止了该进程,因为我没有看到它在 /tmp 中创建的文件块有任何变化。

我需要以某种方式查看进度并确保它没有卡住并且正常工作。最好的方法是什么?是否有专门用于此类操作的 Linux 工具或开源项目?

相关内容