![Windows 上是否有与 Unix uniq 等效的程序?](https://linux22.com/image/1559190/Windows%20%E4%B8%8A%E6%98%AF%E5%90%A6%E6%9C%89%E4%B8%8E%20Unix%20uniq%20%E7%AD%89%E6%95%88%E7%9A%84%E7%A8%8B%E5%BA%8F%EF%BC%9F.png)
我需要从文本文件中删除重复的行,在 Linux 中很简单,使用
cat file.txt |sort | uniq
当 file.txt 包含
aaa
bbb
aaa
ccc
它将输出
aaa
bbb
ccc
有 Windows 等效程序吗?或者如何以 Windows 方式执行此操作?
答案1
Sort-Object
PowerShell 中的 cmdlet 支持执行-Unique
与下列操作相同的操作的开关uniq
:
Get-Content file.txt | Sort-Object -unique
当然,由于 PowerShell 中有别名,你也可以写:
type file.txt | sort -unique
此外,Windows 10 中有一个未记录的/unique
开关sort.exe
,因此,这应该在命令提示符中起作用:
type file.txt | sort /unique
答案2
答案3
您可以轻松地自己编写命令“uniq”。将其保存在批处理文件“uniq.cmd”中,该文件位于 %path% 中可以找到的某个位置(例如 %windir%\system32)。此版本不区分大小写:
@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort %*') do (
rem "set" needs to be done without delayed expansion
set "line=%%F"
setlocal EnableDelayedExpansion
set "line=!line:<=<!"
if /i "!prev!" neq "!line!" echo(!line!
set "prev=!line!"
endlocal
)
这适用于“uniq mytextfile”以及“cat mytextfile | uniq”;因为所有输入和参数都简单地传递给排序命令。
从 Windows 7 开始,您可能需要一个真正区分大小写的版本(区别在于未记录的开关“sort /C”并且没有“if /i”):
@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort /C %*') do (
rem "set" needs to be done without delayed expansion
set "line=%%F"
setlocal EnableDelayedExpansion
set "line=!line:<=<!"
if "!prev!" neq "!line!" echo(!line!
set "prev=!line!"
endlocal
)
答案4
除了余嘉敖的回答。您可以调用sort-object
命令提示符中的 powershell cmdlet 例如:
type file.txt | powershell -nop "$input | sort -unique"