搜索、删除重复项并合并到一个文件

Question

我要用什么最佳方式来搜索和删除超过 50GB 的文本文件中的重复项并将它们合并为一个？我认为 GUI 应用程序会挂起，因此我需要一种支持线程的 CLI 样式或一种使用 Linux 的方法。

Answer 1

这里这篇文章可能会对你有所帮助，但在小规模上，你可以用这种方式编写自己的脚本来处理大量文件。邮政可能有助于使用 sort 命令

Answer 2

Auslogics 重复文件查找器是免费的，处理 50GB 的文本文件应该没有问题。请确保直接从网站下载，以避免使用 CNET 下载器，并且不要接受 Auslogics 工具栏。它相当直观，并且很容易摆脱重复项。

要在 Windows 中连接文本文件，您可以以管理员身份在 cmd 窗口中尝试以下操作：

复制 *.txt bigfile.txt

这会将所有文本文件复制到一个大文件中。不知道这是否适用于您拥有的文件量。