Найти дубликаты хэшей

Question

У меня есть куча файлов (4800 файлов), которые, как я считаю, содержат много дубликатов и троек. Проблема в том, что они также не имеют одинаковые имена. Я уже отсеял легких с такими же именами. Все файлы имеют узкий диапазон размеров, так что это не поможет.

Я подумал, что, возможно, можно будет запустить скрипт, чтобы проверить хэши всех файлов в каталоге и сообщить о дублированных хешах. Кто-нибудь знает, как этого добиться?

Можно сделать на Linux и Windows.

Спасибо

Answer 1

Вот команда Powershell, которая хэширует все ваши файлы (в заданном каталоге) и выводит результат в файл CSV.

Get-FileHash -Algorithm MD5 -Path (Get-ChildItem "\\Path\to\files\*.*" -Recurse) | Export-Csv C:\Temp\hashes.csv

После этого вы можете открыть файл CSV в Excel и выкорчевать дубликаты.

Обратите внимание, что командлет Get-FileHash доступен только в Powershell версии 4 или выше.