我有一个 200GB 的平面文件(每行一个单词),我想对该文件进行排序,然后删除重复项并从中创建一个干净的最终 TXT 文件。
我尝试过sort
,--parallel
但它运行了 3 天,我感到沮丧并终止了该进程,因为我没有看到它在 /tmp 中创建的文件块有任何变化。
我需要以某种方式查看进度并确保它没有卡住并且正常工作。最好的方法是什么?是否有专门用于此类操作的 Linux 工具或开源项目?
我有一个 200GB 的平面文件(每行一个单词),我想对该文件进行排序,然后删除重复项并从中创建一个干净的最终 TXT 文件。
我尝试过sort
,--parallel
但它运行了 3 天,我感到沮丧并终止了该进程,因为我没有看到它在 /tmp 中创建的文件块有任何变化。
我需要以某种方式查看进度并确保它没有卡住并且正常工作。最好的方法是什么?是否有专门用于此类操作的 Linux 工具或开源项目?