Как объединить каталоги жестких ссылок, потенциально указывающих на одни и те же файлы?

Question

Я использовал дедупликатор файлов в большой папке с сотнями тысяч файлов. Дедупликатор создал жесткие ссылки для всех обнаруженных дубликатов файлов.

Если бы я попытался объединить несколько каталогов, которые содержат жесткие ссылки на одни и те же файлы и позволили перезаписать цели, я ожидаю, что возможно повреждение файла.

В моем случае файловая система ZFS с ядром 3.14.

Я не хочу принимать то, что происходит, основываясь на эмпирических данных, полученных в случае теста с несколькими файлами. Я хочу точно знать, какой процесс задействован, чтобы узнать, существует ли риск повреждения файла по различным причинам, таким как прерывание питания или другое нежелательное прерывание.

Answer 1

Если вы используете пользователя rsync с аргументом --ignore-Существующий, это должно обнаружить дубликаты и скопировать все остальное.

rsync -ra  --ignore-exisiting /path/to/source /path/to/destination

Я бы создал несколько тестовых каталогов с одинаковыми файлами и несколькими жесткими ссылками, и сделал бы несколько испытаний, чтобы сгладить любые непредвиденные «перегибы».

Вы даже можете сначала запустить его в «тестовом режиме» с флагом «-n», чтобы убедиться, что ваши аргументы верны.

rsync -ran --ignore-existing /path/to/source /path/to/destination