Самый быстрый способ обработки и передачи около 600 ГБ данных между двумя внешними жесткими дисками

Question

sudo fdisk -l :

даст мне следующий вывод.

Disk /dev/sdc: 4000.8 GB, 4000787029504 bytes
256 heads, 63 sectors/track, 484501 cylinders, total 7814037167 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 33553920 bytes
Disk identifier: 0x1ca6469a

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1  4294967295  2147483647+  ee  GPT
Partition 1 does not start on physical sector boundary.

WARNING: GPT (GUID Partition Table) detected on '/dev/sdd'! The util fdisk doesn't support GPT. Use GNU Parted.

Note: sector size is 4096 (not 512)

Disk /dev/sdd: 3000.6 GB, 3000592977920 bytes
255 heads, 63 sectors/track, 45600 cylinders, total 732566645 sectors
Units = sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       51205      204820   ee  GPT
/dev/sdd2           51206   732533871  2929930664    7  HPFS/NTFS/exFAT

Я хочу передать данные с устройства, установленного на /dev /sdd2, в /dev /sdc2, а объем данных составляет около 400 - 600 ГБ. Каков наилучший метод для обработки и передачи этого файла.

Мой целевой диск не пуст, и мне нужно перемещать этот объем данных каждые три дня.

1. Застегивание и расстегивание молнии занимают слишком много времени
2. Я еще не попробовал rsync, хотел бы ваши отзывы
3. Я использую 2 порта USB 3.0 для обоих жестких дисков. Должен ли я НЕ подключать их к концентратору, чтобы сделать это быстрее?

Есть ли другой эффективный способ передачи этих файлов?

Answer 1

Лучшим способом будет прямая копия - если на целевом диске уже нет данных, которые соответствуют исходному диску с идентичным именем файла, размером и датой последнего режима, которые вы собираетесь тратить впустую. Это даже более справедливо при использовании сжатия / распаковки, если вы не выполняете сжатие их данных - и исходные данные сжимаются (и при условии, что чтение выполняется быстрее, чем запись)

Вы не хотите использовать концентратор, так как это разделит пропускную способность жесткого диска.

Возможно, вам удастся изменить положение вещей по краям, изменив размер блока файловой системы - чем больше, тем более расточительно, но немного быстрее. (Не в широком масштабе, хотя)

Кроме того, различные файловые системы могут повысить производительность в зависимости от размера файла.

Ваше узкое место, скорее всего, будет скорость диска и задержка больше, чем что-либо еще. Ничего особенного вы не можете сделать, чтобы это исправить, сохранить, возможно, выдерживая целевой диск пустым - поскольку начальные - самые внешние дорожки - намного быстрее, чем конечные - самые внутренние дорожки. (Полагаю, ваша ссылка на sdc2 должна была быть sdc1. Если это НЕ так, вы должны рассмотреть расположение sdc, чтобы данные располагались как можно ближе к началу диска.

Answer 2

Если у вас есть два эквивалентных USB-концентратора, подключите диски к различным концентраторам, отключите другие USB-устройства и сделайте прямое копирование. Это обеспечит максимальный параллелизм.

Если у вас есть только один концентратор, может быть быстрее перенести его на промежуточный внутренний диск, а затем скопировать на другой внешний диск, так как внешний диск станет узким местом.

Если у вас есть папки с большим количеством маленьких файлов, сжатие их в один zip-архив значительно увеличит скорость передачи.

Если диски одинакового размера, копирование раздела с диска на диск должно выполняться быстрее, если диск в основном заполнен, но медленнее, если диск далеко не заполнен.

Если целевой диск пуст, увеличение размера кластера разделов с 4 до 16 предотвратит много операций ввода-вывода, но потребует дополнительного места.