Объедините несколько больших списков слов в один, удаляя дубликаты с помощью PowerShell

Question

У меня есть огромные словари, которые содержат дубликаты и интересно, как правильно объединить эти списки слов в один, удаляя дубликаты с помощью скрипта PowerShell.

Например

file1:

aaaaa
abcd
bbbb
1111

файл 2

abcd
1111
hjii
okom
bbbb

выходной файл

aaaaa
abcd
bbbb
1111
hjii
okom

Answer 1

Я не уверен, насколько быстро это будет с большими файлами, как вы упоминаете, но этот код Powershell должен сделать свое дело

# Assuming files are named list1.txt and list2.txt. change as needed
Get-Content "C:\list*.txt" | Select-Object -unique > "c:\foo.txt"