Вопросы с меткой [deduplication]

Мне нужно бесплатное приложение для поиска и удаления дубликатов файлов, с возможностью найти дубликаты файлов / папок по имени и / или по размеру и удалить один из дубликатов.

У меня есть две папки, содержащие различные файлы. Некоторые из файлов из первой папки имеют точную копию во второй папке. Я хотел бы заменить их жесткой ссылкой. Как я могу это сделать?

Я унаследовал исследовательский кластер с ~ 40 ТБ данных в трех файловых системах. Данные растянуты почти на 15 лет, и, скорее всего, существует большое количество дубликатов, поскольку исследователи ...

На моем компьютере с Windows, в разных подпапках и с разными именами файлов много дублированных файлов изображений. Какой скрипт на Python или бесплатную программу вы бы порекомендовали для удаления ...

Я ищу программу-архиватор, которая может выполнять дедупликацию (дедупликацию) архивируемых файлов. После распаковки архива программное обеспечение вернет все файлы, удаленные в процессе сжатия. Пока ...

У меня есть лист Excel, который содержит повторяющиеся строки Я хочу удалить строку, если столбцы ACDEF совпадают (игнорировать B при вычислении дубликатов, но удалять при удалении строки) На данный ...

Я хочу просто сделать резервную копию и архивировать файлы на нескольких машинах. К сожалению, файлы содержат несколько больших файлов, которые являются одним и тем же файлом, но по-разному хранятся ...

Некоторое время назад я использовал поиск дубликатов файлов для mp3, анализируя содержимое.К сожалению, она не была бесплатной, и условно-бесплатная программа имела много ограничений. Существуют ли ...

У меня есть тест приложения C++, который создает 10 000 файлов в смонтированном каталоге NFS, но недавно мой тест не прошел один раз из-за того, что один файл дважды появился с тем же именем в этом ...

Я просто перестроил свою систему после того, как новый блок питания включил мой процессор, MBD, видеокарту и привод Blu-Ray. За все это мне пришлось восстанавливать Windows из резервной копии ...

У меня есть папка, полная файлов, с несколькими дублирующимися файлами. К сожалению, в ряде случаев одна версия является обновленной версией другой, поэтому прямое совпадение байтов не обнаруживает ...

Например, у меня есть текстовый файл, каждая строка является длинной строкой. Я хочу исключить 2 "сегмента" этой строки, скажем, столбцы 1-7 и 20-22. Таким образом, нижние 2 строки ниже будут ...

Из-за некоторых неудачных обстоятельств я заметил, что я необратимо перепутал свои отсортированные и повторно помеченные mp3-файлы со старой резервной копией. Это означает, что теперь у меня есть ...

Мне нужно выполнить 2 операции в Sublime Text: извлечь уникальные строки и извлечь дубликаты строк. Например для ввода a b a Извлечение дубликатов должно привести к: a и Извлечение уникального должно ...

Есть ли приложение для Windows, которое находит дубликаты изображений и позволяет быстро просмотреть изображение и, что самое важное, метаданные файлов изображений. Я вижу, что есть программы для ...

Я использую Windows 7, чтобы сделать это. У меня довольно обширная музыкальная библиотека, и теперь у меня довольно много дублирующих треков, но в разных альбомах. Очевидно, я не хочу, чтобы ...

Каков порядок записи данных в файловую систему zfs в zfs в linux? Единственный конкретный документ, который я нашел на http://docs.oracle.com/cd/E36784_01/html/E36835/gkknx.html, говорит; When a file ...

Иногда наш POP-сервер подходит, и он снова отправляет кучу сообщений электронной почты определенному пользователю, и мне приходится удалять те дубликаты сообщений, которые оказались в локальном ...

Я беру ночное резервное копирование с моего сервиса веб-хостинга как .tar.gz. Данные меняются очень мало каждую ночь (

Фон У меня есть резервные копии веб-сайта, который хранит все свои данные в одном файле. Этот файл размером в несколько гигов, и у меня есть много разных резервных копий этого файла. Большая часть ...

Просто купил NAS. Поэтому я решил собрать все наши фотографии, медиафайлы и файлы PDF, дедуплицировать, удалить из-под контроля и проверить их на вирусы и прикрепить их все к нему. У нас есть 3 ...

Я пытаюсь удалить удаленные дубликаты файлов без переноса несуществующих файлов и без обновления существующих файлов. Если я укажу и --existing и --ignore-existing (вместе с -av ...

У меня есть резервуар, состоящий из нескольких наборов данных, только один из которых настроен на использование дедупликации. Как я могу увидеть соотношение для этого набора данных? Я получаю ...

Я хочу (рекурсивно) загрузить каталог файлов в папку с сервера WebDav. Если файл уже есть (где-то там), он не будет загружен снова. Однако структура папок не одинакова. Есть ли простой способ сделать ...

Существует ли какое-либо приложение с графическим интерфейсом (для Windows или Linux), которое реализует алгоритмы нечеткого хеширования, такие как ssdeep или sdhash, чтобы найти рядом дублирующиеся ...

Я ищу программное обеспечение, которое поможет мне сделать резервную копию сервера с 5 ТБ данных. Мой список пожеланий: Резервное копирование на диски 1-2 ТБ SATA Конфигурация почти не требуется ...

Я хочу использовать md5deep для проверки правильности копирования некоторых скопированных каталогов. Но, похоже, md5deep не использует имена файлов, сохраненные в родословных .md5-файлах при ...

Я использую OSX 10.8.4 и хотел бы удалить дубликаты файлов в одном плоском каталоге, если хэш md5 совпадает. Я посмотрел несколько ответов, но ни один из них не работает для меня, я думаю, из-за ...

Когда я впервые импортировал большую часть своей библиотеки iTunes, у меня была опция copy files to iTunes Media folder when adding to library , поэтому в основном вся моя музыкальная библиотека была ...

Я использую OneNote 2013 для семейной истории. Я создал страницу для каждого человека с фотографиями и документами об этом человеке. В некоторых случаях у меня есть групповые фотографии со многими ...

Я могу создать squashed файловые системы с mksquashfs таким способом: mksquashfs dir-1 dir-2 ... dir-n filesystem-on-file.squash -comp xz -Xbcj x86 -Xdict-size 1048576 -b 1024k mksquashfs ...

У меня есть около 100 ТБ сжатых данных GZIP на облачных томах. По пути запуска дедупликации на уровне блоков (duperemove для btrfs) я обнаружил, что он был сжат без -n , что приводит к разнице в ...

Я ищу способ перезаписать только те части файла, которые отличаются от того, что должно быть записано в него, чтобы файл был изменен с наименьшим количеством записей на диск. Мой план состоит в том, ...

Я импортировал много фотографий, используя новую функцию "импорта камеры" в Dropbox. Многие из них были дубликатами фотографий, ранее импортированных путем прямого копирования с камеры. Странно, но ...

У меня есть папки, полные изображений с камеры, которые я скопировал и скопировал между моим ноутбуком, компьютером и внешним жестким диском. Я хочу упорядочить и отсортировать их, а также удалить ...

У меня очень большой текстовый файл (> 50 ГБ), но большинство строк повторяются, поэтому я хочу удалить их. Есть ли способ удалить дубликаты строк из файла и обрабатывать файлы размером более 2 ГБ? ...

У меня есть старые архивы моих старых компьютеров. Теперь я решил объединить все эти папки и организовать их, у меня есть много резервных копий, поэтому мне нужно приложение, которое будет находить ...

Я знаю, что установка dedup=on приводит к высокому использованию памяти и почти никогда не стоит (см., Например, https://serverfault.com/a/569099/208661). Однако я включил его, чтобы посмотреть, как ...

OFX - это формат XML для истории финансовых транзакций, и многие банки, в том числе и мой, предоставляют возможность загрузки данных транзакций в этом формате. К сожалению, они часто вынуждают вас ...

У меня есть сеть хранения 15 ТБ, и сейчас я сократился до 2,5 ТБ (из-за большого количества дубликатов). Я пробовал много сканеров, но у меня был небольшой успех, в конце концов они все терпят крах ...

Может ли перенаправление системных папок, как указано выше, с использованием символических ссылок вызвать проблемы в системе или некоторых приложениях? И есть ли проблема, если я перенаправлю папки в ...

Моя цель состоит в том, чтобы использовать функции btrfs для объединения нескольких файлов по 3 ГБ в один файл по 9 ГБ без создания значительных операций ввода-вывода и использования дополнительного ...

Я пытаюсь сравнить 2 тома, которые в основном имеют одинаковое содержимое, но в совершенно разных структурах папок. (Около 2 миллионов файлов.) Я хочу видеть, какие файлы находятся ТОЛЬКО в 1 папке, ...

У меня есть сотни тысяч файлов, распределенных на многих внешних дисках и дисках компьютеров, и многие из них дублированы. Этот беспорядок был вызван тем, что я создал копии для предложения по ...

Итак, у меня есть эти массивные списки рисунков, которые я сделал для работы, и я хотел бы иметь возможность свести их все в одну папку и запустить пакет, который удалит все более старые обороты и ...

Если у меня есть текстовый файл, я могу отсортировать его командой sort input.txt output.txt . Можно ли как-то также удалить дубликаты строк из текстового файла? (В идеале я хотел бы получить ...

Windows Server 2012 R2 (редакция центра обработки данных) Я не могу включить дедупликацию данных. На этом конкретном томе ранее была включена дедупликация данных. Компьютер был изменен с BIOS на ...

[Моя цель состоит в том, чтобы использовать функции коровы btrfs для подстановки файлов размером от 30 до 300 ГБ в несколько файлов по 10 ГБ без создания значительных операций ввода-вывода и ...

У меня большая музыкальная коллекция. Он организован в следующей структуре: исполнитель / альбом / trackTitle. Со временем в некоторых каталогах у меня появляются файлы с дубликатами; большинство ...

У меня есть куча файлов (4800 файлов), которые, как я считаю, содержат много дубликатов и троек. Проблема в том, что они также не имеют одинаковые имена. Я уже отсеял легких с такими же именами. Все ...