Инструмент идентификации и удаления дубликатов папок

Question

Возможный дубликат:
Поиск дубликатов файлов

Есть ли инструмент, который может идентифицировать / управлять дубликатами на уровне каталогов? Я пытался использовать программное обеспечение для удаления дубликатов файлов, чтобы отсеять дубликаты, но эти приложения слишком гранулированы. Я хочу управлять своими дубликатами на уровне папок. Большинство моих дубликатов файлов также находятся в (почти) дублированных структурах папок, поэтому я хочу иметь возможность идентифицировать корневую (почти) дублирующуюся папку и удалять / объединять / обновлять корневую папку вместо того, чтобы управлять дубликатами в файле -файловая база.

Один из способов создания этих дубликатов папок заключался в том, что всякий раз, когда я обновлял жесткий диск большего размера, я копировал содержимое старого жесткого диска в папку на новом жестком диске. У меня есть несколько каталогов, заполненных дубликатами файлов и каталогов. Некоторые каталоги представляют собой наборы других каталогов (содержат те же файлы / каталоги и дополнительные файлы). Другие содержат общее подмножество файлов / каталогов, но каждый из них содержит дополнительные файлы.

Answer 1

Одним из инструментов командной строки, который я использовал, и который мне очень нравится, потому что дубликаты могут быть превращены в жесткие ссылки, является FINDDUPE от Matthias Wandel. http://www.sentex.net/~mwandel/finddupe/

Жесткие ссылки создают дубликаты, как будто файл все еще существует в двух местах, но на диске существует только одна копия. Но это не значит, что это работает только в файловых системах NTFS, и вы должны запускать его с правами администратора.

Ставки на все, это абсолютно бесплатно. :)

Answer 2

Я не уверен, что вы имеете в виду под "гранулярным", когда ссылается на другое программное обеспечение для удаления дубликатов, но после того, как попробовал пару дюжин программ, которые делают это, я обнаружил, что Glary Utilities идеально соответствует моим потребностям. Это очень быстрый поиск папки или даже диска или сравнение одной папки с другой на наличие дубликатов, основанных на точном размере, отметке времени и / или имени. Вы можете выбрать, какие расширения файлов фильтровать в поиске или вне его. И вы можете редактировать результаты вручную, или позволить программе удалить один из дубликатов в каждой группе. Могу добавить, что лучше всего, это бесплатно и очень, очень быстро.

Answer 3

Я бы порекомендовал проверить сайт commandlinefu. Вы на окнах, так что вам придется использовать Cygwin.

Я нашел эту запись на commandlinefu.com, которая может быть полезной

find . -type f -print0|xargs -0 md5sum|sort|perl -ne 'chomp;$ph=$h;($h,$f)=split(/\s+/,$_,2);print "$f"."\x00" if ($h eq $ph)'|xargs -0 rm -v --

Answer 4

Трудно найти программное обеспечение с правильным уровнем гранулярности, которое делает то, что вы хотите. Я бы порекомендовал изучить язык сценариев (попробуйте MS Shell + VBScript, perl, python) и написать небольшую утилиту командной строки, чтобы сделать это самостоятельно. Вы можете сделать это настолько грандиозным, насколько захотите.

Кто бы ни написал программное обеспечение, предложенное выше, вероятно, не имел той же идеи, что и вы, поэтому вам, вероятно, придется выполнить поиск / удаление вручную.

Answer 5

Если у вас есть доступ к (превосходному) Beyond Compare, воспользуйтесь функцией синхронизации папок .

Answer 6

Если у вас есть подозреваемые папки, вы можете использовать хитрость.

Я использую хорошо известный трюк xcopy, чтобы скопировать все файлы из подозрительной папки в файл. Затем я сравниваю эти два файла, чтобы убедиться, что они не повреждены.

Answer 7

Интересно, может быть, это поможет вам, это называется winmerge. Похоже, вы можете настроить его для сравнения 2-х папок и выполнить действие с папкой в зависимости от результатов сравнения.

http://lifehacker.com/software/geek-to-live/compare-and-merge-files-and-folders-with-winmerge-290657.php

Answer 8

Вы пробовали AusLogics? В настоящее время они поставляют бесплатное программное обеспечение для поиска дубликатов файлов, вот ссылка:

http://www.auslogics.com/en/software/duplicate-file-finder/download

Надеюсь это поможет :)