Мне нужно бесплатное приложение для поиска и удаления дубликатов файлов, с возможностью найти дубликаты файлов / папок по имени и / или по размеру и удалить один из дубликатов.
15 ответов
24
Я пробовал буквально десятки дубликатов поиска файлов (у меня все еще есть установочные файлы /ZIP-файлы, около 20 из которых сидят без дела). Я использовал CloneMaster 2.19 какое-то время, потому что он был лучшим, который я смог найти, хотя даже он не был идеальным (я хотел тот, который мог бы также определять дубликаты MP3 по аудиоконтенту, игнорируя теги). У всех них были проблемы, которые меня расстроили настолько, что я решил написать свою собственную и выложил список функций, которые мне требуются от DFF.
И тогда я нашел AllDup. Это первый и единственный, который фактически заставил меня отказаться от проекта (технически мой не полностью заброшен, над ним просто больше не работают, так как мне больше не нужно его писать, потому что AllDup делает все, что я от него хочу). В любом случае, AllDup ищет дубликаты файлов, но в отличие от других, он использует множество приемов и приемов, которые я собирался использовать в своем собственном DFF. Таким образом, он очень быстрый: он может, например, сканировать> 250 000 форматов от 1B-5GB за ~ 30 минут (я делал это в своей системе несколько раз).
Еще одна замечательная (и по какой-то причине редкая) особенность AllDup заключается в том, что, как я уже говорил, он может сканировать дубликаты MP3 по их фактически аудиоданным, игнорируя теги, поэтому два MP3, которые имеют одинаковые, но разные теги (очень часто встречаются при загрузке), будут быть обнаружены как дубликаты. (Он может даже обнаружить, когда я скопировал две одинаковые песни с двух разных компакт-дисков - конечно, с разными тегами.) Конечно, он может обнаруживать дубликаты на основе других факторов, помимо байтового содержимого, таких как имена файлов, даты и т.д.
Другие замечательные возможности AllDup включают возможность фильтрации (включения или исключения) на основе имени файла и / или имени папки и / или размера файла. Экран результатов также очень универсален с опциями выбора файлов на основе даты, пути, имени, этого, этого, другого ... У него также есть разнообразие в том, что делать с обнаруженными дубликатами.
Майкл Туммерер также очень восприимчив. Я несколько раз сообщал ему об ошибках и предлагал функции, на которые он очень быстро обратился (до такой степени, что он сказал мне загрузить и опробовать бета-версию с обновлениями в следующих электронных письмах того же дня).
Ох, и это бесплатно.
НТН
14
Duplicate Cleaner очень быстр и имеет широкие возможности фильтрации результатов.
9
Некоторое время назад был доступен Duplicate File Finder, но теперь он доступен только на вторичных сайтах, например, в справочнике Softpedia.
На сайте Wareseeker отображается правильная ссылка http://dff.nazrashid.com/ которой больше нет. Я был бы осторожен, выбирая исполняемые файлы с таких сайтов, хотя.
Он может выполнять поиск дубликатов в нескольких деревьях каталогов на основе,
- содержание (я думаю, что это соответствует MD5)
- размер
- название
- имя и размер
- содержание и название
Кроме того, он позволяет фильтровать результаты поиска по минимальному и максимальному размеру файлов (ускоряет работу, когда вы знаете границы).
Очень вдумчивый кусок программного обеспечения. Не знаю, есть ли что-то более быстрое и бесплатное в наши дни.
Комментарии относятся к аналогичному инструменту Sourceforge под названием Doubles
8
Clonespy http://www.clonespy.com
Я нахожу это очень полезным и более полезным, чем DoubleKiller. Особенно приятной функцией является функция "Пулы", где вы можете сравнить одну группу каталогов с другой группой каталогов, игнорируя при этом дубликаты внутри групп.
Например, мой партнер любит хранить дубликаты файлов изображений при работе с изображениями. Я хочу посмотреть, есть ли у меня какие-либо копии этих файлов в моих каталогах.
Пул 1 - Домашний каталог партнеров Пул 2 - Мой домашний каталог.
Единственные найденные дубликаты - это если файл присутствует как в моих каталогах, так и в каталогах моего партнера. Файлы, только дублированные в каталогах моего партнера, игнорируются.
7
У меня есть следующий пакетный файл в течение некоторого времени:
@ECHO OFF
REM TODO: Help when run with /? and switch for recursion
REM Furthermore check whether we might have enough files to hit the envvar length limit
REM and switch strategies accordingly (slower but finds all dupes then)
SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION
REM This method speeds up comparison but suffers from long file lists
REM as environment variables have a length limit
SET FILELIST=
FOR %1 %%i IN (*) DO (
FOR %%j IN (!FILELIST!) DO (
IF %%~zi EQU %%~zj (
fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j"
)
)
SET FILELIST=!FILELIST! "%%~i"
)
ENDLOCAL
GOTO :EOF
Вы можете запустить его с /r качестве аргумента для рекурсивного запуска по дереву каталогов.
4
В Total Commander есть замечательная утилита поиска дубликатов файлов. К сожалению, это не бесплатно.
Как упоминал Ник, есть Duplicate File Finder с открытым исходным кодом и кросс-платформенный. Это доступно на SourceForge здесь
3
DoubleKiller - отличный бесплатный (у них также есть профессиональная версия) поиск и удаление дубликатов файлов. Я использую это в течение многих лет и полностью рекомендовал бы это.
3
Winmerge http://winmerge.org/
Сравните очень похожие каталоги, возможно, между вашей папкой "Documents" и вашей импровизированной "резервной копией", папкой "Copy of Documents", которую вы создали несколько недель назад "на всякий случай".
Вы можете выяснить, какие файлы все еще идентичны, какие файлы самые новые (или самые старые, если вы столкнулись с проблемой), и какие файлы существуют только в одном месте. Затем вы можете "объединить" каталоги и удалить дубликаты.
2
Дуплокатор Кросс-платформенный скрипт Python для поиска дубликатов.
2
Расширенный уход за системой поставляется с Clone Files Finder с программой. Я использую его, и он отлично работает.
1
Быстрый поиск файлов дубликатов:
- Совершенно бесплатно
- Может идентифицировать дубликаты независимо от того, где они находятся в структуре каталогов / папок
- Простой в использовании интерфейс Windows
- Может создавать отчеты в формате XML
- Может Переместить дубликаты в корзину или другую корневую папку, сохраняя исходную структуру папок, например, если дубликат файла находился в папке в другой папке, этот путь был бы сохранен: файл все еще будет существовать в папке внутри папки, и эта структура будет перемещена в папку, которую выберет пользователь - будь то корзина для утилизации или папка, указанная пользователем
- Быстрый алгоритм двоичного сравнения, а также проверка имени файла и размера.
http://www.mindgems.com/products/Fast-Duplicate-File-Finder/Fast-Duplicate-File-Finder-About.htm
1
Еще одна утилита:
* Comparison to other duplicate finding utilities:
+ Very fast
+ Comparing directories too.
+ Often, two directories contain, let's say, 4 equal files and 5th file is different.
We handle it too and output these as "common files in directories"
+ Absence of unnecessary switches.
- Win32 only
- Command-line only
1
Лучшим решением, которое я тестировал на Windows, был уже упомянутый Alldup. Реквизит для Synetech Inc. для того, чтобы поделиться этим. Блестящий и очень профессиональный бесплатный инструмент.
В этом посте я приведу протестированные решения bash, которые будут работать в Cygwin, Linux и OS X (или в любом другом, использующем bash-like оболочку).
Ищете дубликаты файлов, используя бесплатные и открытые инструменты
1
Я всегда использовал старую программу Find Duplicates, но теперь, когда Geocities уничтожен, я думаю, что она больше не существует, так что вот копия файла.
Он отображает файлы в удобных для просмотра группах, выделенных цветом. Он предупреждает вас, если вы отметили все копии файла для удаления, можете пометить их автоматически, можете выборочно пометить все файлы в каталоге (я часто это использовал), можете удалить каталоги, которые становятся пустыми после удаления и т.д. Будьте осторожны со ссылками, если вы используете его в Wine. Он удалит все копии файла, не зная, что они являются ссылками.
1
Я нашел еще один Duplicate File Remover, чтобы быть удивительным. Это довольно новый и очень простой в использовании. Я использовал его для сравнения более 50 000 файлов из проекта восстановления жесткого диска, поэтому он может обрабатывать большое количество файлов.