Есть ли в Windows эквивалент Unix Uniq?

Question

Мне нужно удалить дубликаты строк из текстового файла, это просто в Linux, используя

cat file.txt |sort | uniq

когда file.txt содержит

aaa
bbb
aaa
ccc

Будет выводить

aaa
bbb
ccc

Есть ли аналог Windows? или как это сделать в Windows?

Answer 1

Командлет Sort-Object в PowerShell поддерживает параметр -Unique который делает то же самое, что и uniq:

Get-Content file.txt | Sort-Object -unique

Конечно, благодаря наличию псевдонимов в PowerShell вы также можете написать:

type file.txt | sort -unique

Кроме того, в /unique Windows 10 есть недокументированный sort.exe ключ, поэтому он должен работать в командной строке:

type file.txt | sort /unique

Answer 2

Есть порты uniq, которые работают идентично версиям gnu/coreutils. Я лично использую вариант от GOW, но git для Windows имеет значительно более новую версию. Cygwin не требуется, хотя для последнего вам нужно искать в /usr /bin

Поскольку эти пакеты также содержат cat, sort и uniq - ваш рабочий процесс должен быть в основном идентичным, а cat file.txt |sort | uniq должен работать в основном одинаково

Answer 3

Вы можете легко написать команду "uniq" самостоятельно. Сохраните это в командном файле "uniq.cmd" где-нибудь в вашем% path%, где вы можете его найти (например, в% windir%\system32). Эта версия НЕ чувствительна к регистру:

@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort %*') do (
    rem "set" needs to be done without delayed expansion
    set "line=%%F"
    setlocal EnableDelayedExpansion
        set "line=!line:<=<!"
        if /i "!prev!" neq "!line!" echo(!line!
        set "prev=!line!"
    endlocal
)

Это работает с "uniq mytextfile", а также "cat mytextfile | uniq"; все входные данные и аргументы просто передаются в команду сортировки.

Начиная с Windows 7, вам может потребоваться действительно чувствительная к регистру версия (разница заключается в недокументированном переключателе «sort /C» и «if /i»):

@echo off
setlocal DisableDelayedExpansion
set "prev="
for /f "delims=" %%F in ('sort /C %*') do (
    rem "set" needs to be done without delayed expansion
    set "line=%%F"
    setlocal EnableDelayedExpansion
        set "line=!line:<=<!"
        if "!prev!" neq "!line!" echo(!line!
        set "prev=!line!"
    endlocal
)