найти дубликаты файлов по размеру и MDF

Question

Я пишу скрипт для поиска файлов дупс и группировки их по размеру, а затем по их контрольной сумме MD5.

вот мой сценарий:

find . -type f -printf "%s\n" | sort -rn | uniq -d | xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | sort | uniq -w32 > ./dups.txt

Я хочу убедиться, что мой скрипт генерирует мои файлы дупс по их размеру и MD5 правильно.

В любом случае я могу убедиться, что мой результат верен, или вы поможете мне проверить мой сценарий и дайте мне знать, пожалуйста?

Answer 1

Вот аналогичный инструмент для поиска дубликатов в Perl под лицензией GPL:

https://github.com/omps/myperlscripts/blob/master/dup-files.pl

Вы также можете изучить опцию -exec, чтобы найти (1).

Answer 2

Я рекомендую вам использовать fdupes, он предназначен для этой цели.

Описание :

программа для идентификации или удаления дубликатов файлов, находящихся в указанных каталогах