使用 PowerShell 将多个大型单词列表合并为一个并删除重复项

Question

我有包含重复项的大量词典，并且想知道如何使用 PowerShell 脚本将这些单词列表正确合并为一个，从而删除重复项。

例如

文件1：

aaaaa
abcd
bbbb
1111

文件 2

abcd
1111
hjii
okom
bbbb

输出文件

aaaaa
abcd
bbbb
1111
hjii
okom

Answer 1

我不确定像你提到的大文件处理速度有多快，但这个 Powershell 代码应该可以解决问题

# Assuming files are named list1.txt and list2.txt. change as needed
Get-Content "C:\list*.txt" | Select-Object -unique > "c:\foo.txt"