如何有效合并多个文本文件并删除重复项？

Question

我尝试了很多方法，但大多数都被卡住了或者没有正确删除重复项。输出文件是否排序并不重要

如果 file1.txt 包含

a
b
c
d
e
c
d

如果 file2.txt 包含

c
d
e
a
f
g
g
h

输出.txt 应包含

a
b
c
d
e
f
g
h

Answer 1

只需使用sort -u file[12].txt >output.txt.对输入进行排序，同时删除重复项。

确保您的文件采用 Unix 类型换行符格式 (LF \n)，而不是 Dos/Windows 换行符格式 (CRLF \r\n)；如果不转变他们通过tr -d $'\r' <filename或dos2unix filename命令。