1

У меня есть 6 резервных копий моего компьютера, которые занимают много места на внешнем жестком диске, потому что все они являются полными (не инкрементными) резервными копиями моего компьютера, что означает, что большая часть содержимого дублируется в резервных копиях.

Моя идея состоит в том, чтобы обрезать эти резервные копии, сохраняя только файлы, пропущенные из исходного источника резервной копии, независимо от расположения папки.

Поскольку резервные копии являются "монтируемыми единицами", таким образом, я могу использовать общие утилиты для работы с файлами / папками, чтобы находить дубликаты и отсутствующие файлы между двумя сравниваемыми наборами, я пробовал некоторые инструменты, такие как Windiff и Comparator pro, но оба эти инструмента будут отображаться как отсутствующие файлы эти файлы перемещаются в другие папки при сравнении с текущим набором файлов.

Мне нужен инструмент, который перечислит отсутствующие файлы из источника резервной копии, которые присутствуют в резервной копии, где бы они ни находились, даже если они были перемещены в другое место.

4 ответа4

1

Я также искал резервные копии с эффективным использованием пространства, и вот несколько приложений, которые я нашел:

Dupemerge - это программа командной строки, которая будет дедуплировать каталоги, используя жесткие ссылки. Эта программа будет смотреть на каталог или каталоги, на которые вы указываете, и, если есть дубликаты файлов, она будет жестко связывать их. Если вы выполняете резервное копирование на регулярной основе, вы можете запланировать его выполнение после резервного копирования и освободить место.

CloneSpy - это программа с графическим интерфейсом, которая будет отображать списки дубликатов файлов. Вы можете вручную дедуплировать некоторые файлы или сделать так, чтобы они автоматически дублировали файлы для вас. Жесткое связывание должно быть включено в настройках, эта программа начиналась как программа для удаления дубликатов файлов, и с тех пор они добавили возможность жестких ссылок. Если вы хотите, чтобы файл был жестко связан, вы должны включить его. Я не знаю, CloneSpy знает ограничения жесткой связи NTFS, но Dupemerge знает.

Существует несколько расширений Windows Explorer, позволяющих также создавать жесткие ссылки и визуально видеть, какие файлы жестко связаны из Windows Explorer. Расширение Hard Link Shell поместит красную стрелку «ярлык» поверх файлов, которые были жестко связаны. Кроме того, на локальных дисках в свойствах файла будет отображаться, какие файлы жестко связаны друг с другом. Приятно видеть, какие файлы являются дубликатами, а какие уникальными. Также, если есть возможность редактировать файлы, это будет напоминать вам, что если вы редактируете файл с красной стрелкой, то вы фактически редактируете все жестко связанные файлы одновременно. Веб-сайт http://schinagl.priv.at/nt/hardlinkshellext/hardlinkshellext.html содержит массу информации о жестких ссылках, соединениях, символических ссылках.

Использование жестких ссылок, как это хорошо, потому что каждая папка резервной копии выглядит как полная полная резервная копия, но общие файлы в резервной копии и между резервными копиями, как правило, занимают место только один раз. Обычно, поскольку NTFS имеет ограничение в 1023 жестких ссылки на один файл, и dupemerge будет жестко связывать только 1022 файла с одним файлом, поэтому, если у вас более 1022 копий, вторая копия данных должна быть сохранена для еще одного 1022 жесткого диска. ссылки для ссылки на.

Есть несколько программ, предназначенных для создания резервных копий с эффективным использованием пространства, duplicati (порт Windows программы резервного копирования двойственности Linux). Эта программа с графическим интерфейсом, насколько я понимаю, будет дедуплицировать, потому что она хэширует данные. Это напоминает мне об использовании rsync для резервного копирования. Текущая версия дубликатов значительно улучшена, и я бы порекомендовал ее. Он может управлять вашими резервными копиями, устанавливая, сколько резервных копий хранить, сколько места использовать, максимальный срок хранения резервных копий и т.д. Я использую эту программу для долгосрочного резервного копирования.

Hardlink Backup (ранее RsyncBackup) (программа с графическим интерфейсом) дедуплицируется жесткими ссылками. (Я не использовал эту программу, так как она была переименована.) Поскольку я собирался использовать свою программу в коммерческой среде, я не испытывал программу намного больше. Однако, похоже, это хорошо работает.

Rdiff-Backup (программа командной строки) также дедуплицируется жесткими ссылками. То, что мне было безразлично, это поместить каталог со всей историей ревизий в каталог резервных копий. Если бы это было необходимо, я бы хотел, чтобы они спрятали его и сделали каталогом из точек. Эта программа похожа на программу резервного копирования rsync.

Просто чтобы предупредить вас, в Windows не всегда понятно, сколько места занимают жестко связанные файлы. Я считаю, что общая статистика диска верна и показывает фактическое использованное пространство. Однако, если вы сделали свойства для каталогов резервных копий, это выглядело бы так, как если бы жесткие ссылки не спасли пространство. В конце концов, вы сможете хранить то, что, по-видимому, превышает 100% емкости накопителя. Это связано с тем, что Explorer подсчитывает пространство, занимаемое каждой записью файла, но не проверяет, указывают ли две записи файла на один и тот же фрагмент данных на диске.

--Added--

Если вы хотите сохранить файлы только в исходной резервной копии, независимо от их расположения. (Например, у FolderA есть File1 в Backup1 , а в Резервной копии Backup2 File1 находится в FolderB Поскольку File1 не был изменен, но перемещен, вы хотите, чтобы программа удалила File1 .) Тогда я бы предложил программу CloneSpy . Для этого и была разработана программа. CloneSpy имеет много вариантов. Я использовал его для аналогичной задачи, когда сравнивал FolderA с FolderB , FolderC & FolderD . Затем сравните FolderA & FolderB с FolderC & FolderD . Наконец, сравните FolderA , FolderB и FolderC с FolderD . Таким образом, среди всех папок существуют только уникальные файлы.

- Добавлено 2--

На самом деле более простой способ сделать это - собрать все каталоги в одну группу и сказать ей, чтобы она удаляла новые файлы. Это оставило бы самую старую копию двойного набора. Таким образом, вы можете сказать, когда версия файла была впервые создана. Это также приведет к дедупликации файлов в каталогах, а также между каталогами, в результате чего будет получена только одна копия уникального файла.

0

Все закончилось использованием Duplicate Finder, инструмента от Ashisoft.

Плюсы: он делает то, что искал.

Минусы:
- Дорого, ИМО, 29USD
- При покупке сайт электронной коммерции "упал" в моей корзине на другие инструменты, которые я не просил, подняв цену до 50 долларов США, пришлось вручную удалить из корзины.
- цена была конвертирована в евро, а затем обратно в доллары!Вы можете в это поверить?

Очень несправедливо, просто купил его, потому что на скорую руку, я полагаю, есть тонны исходников, так что просто скопировать этот код и перестроить его, требуя столько денег, просто отстой!

0

Вот что я бы сделал:

  1. Для каждого файла в резервных копиях рассчитайте хэш-код по содержимому файла (может быть md5sum) и перенаправьте результаты и полное имя в текстовый файл (file1).
  2. Сортируйте текстовый файл по хеш-коду и пути.
  3. Сортируйте текстовый файл по хеш-коду с параметром -u и перенаправьте результат в другой текстовый файл (file2).
  4. Теперь file2 имеет все уникальные файлы (если резервные копии имеют несколько версий файла, все версии будут сохранены). Вы можете объединить file1 и file2, чтобы найти избыточные файлы в file1.
0

Старый поток, но может помочь другим: AllDup, средство поиска дубликатов файлов, теперь имеет возможность отображать только неповторяющиеся файлы, то есть те, которые являются уникальными среди папок, включенных в сравнение. В прошлый раз, когда я проверял, интерфейс был довольно неуклюжим, но он действительно помог.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .