Здравствуйте, вы можете предложить очень эффективный и высокопроизводительный вариант для копирования файлов (ТБ данных в виде изображений) с одного диска на другой.

Я видел варианты, такие как cp, rsync и т.д., Но хотел бы получить второе мнение от вас, ребята, которые надежно опробовали и протестировали такой сценарий.

У меня также есть требование, как показано ниже:

  1. Основной диск -> где хранятся файлы после записи
  2. Вторичный диск, который использует rsync для резервного копирования с основного диска.
  3. Третий диск, который теперь создаст резервную копию вторичного диска, а затем удалит ненужные файлы с первичного, чтобы вторичный и третий диск снова синхронизировались

Примечание: 1. Обратите внимание на использование сервера также, поскольку файлы изображений также будут параллельно считываться другими процессами. 2. Я пытаюсь выполнить резервное копирование с дополнительного диска на третий. Нужен ваш совет для 3 шага

|источник

1 ответ1

0

К сожалению, копирование диска происходит медленно. Там нет дешевого способа обойти это.

Похоже, что RSYNC - хороший путь, потому что вы не хотите постоянно копировать все данные на диске. Возможно, вы захотите проверить, что ваш rsync не пропускается на основе контрольной суммы (т. Е. Без флагов -c или --checksum), предполагая, что вы можете полагаться на временные метки и размер файла. Если содержимое файла изменяется (что звучит маловероятно), вы можете значительно ускориться, выполнив «--inplace --no-whole-file», чтобы скопировать только те биты, которые изменились.

Конечно, есть и другие стратегии, которые стоит рассмотреть на уровне блоков. Переход на ZFS (или DRBD, Gluster или MooseFS) и репликация данных на уровне блоков могут оказаться более эффективными в зависимости от того, какие изменения вы делаете, насколько интенсивен ваш трафик и т.д.

|источник

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .