Хранение большого количества маленьких файлов в большие файлы в Windows

Question

Допустим, у меня есть 50 ГиБ файлов, каждый из которых весит около 500 КиБ.

Я предполагаю, что, например, наличие 5 больших файлов по 10 ГиБ каждый с одинаковым содержимым в них будет лучше для производительности жесткого диска. Я прав?

Будет ли заметный выигрыш в файловой системе NTFS?

================================================== ===================

Наконец, какой инструмент можно использовать для группировки файлов, сохраняя при этом возможность изменять содержимое архива с нулевой или незначительной потерей производительности? Например, мне нравится архивирование TrueCrypt, потому что после монтирования файла архива создается диск, который я могу использовать без проблем, как если бы он был обычным. Единственное, что есть в TrueCrypt, это то, что мне не нужно шифрование / сжатие, только архивирование.

Answer 1

Объединение файлов

Я ожидаю, что один большой файл будет лучше для производительности, если вы обычно читаете все данные, читаете их последовательно и если большой файл относительно нефрагментирован.

TrueCrypt

Использование любого вида сжатия или шифрования будет намного хуже для производительности жесткого диска.

Обновить:

Согласно ответу на этот вопрос «произойдет некоторое снижение производительности, хотя и незначительное». Ответ относится к статье Tom's Hardware, в которой говорится

Тест показывает разную производительность и сильно зависит от процессора, а затем от диска, который вы собираетесь зашифровать: AES и Twofish обеспечивают максимальную пропускную способность для нашего ноутбука Core 2 Duo Dell Latitude D610. Как только вы начинаете комбинировать несколько алгоритмов шифрования, например, Twofish и Serpent, производительность значительно падает. Хотя это не заметно при работе с Windows и популярными приложениями, увеличение нагрузки на систему, например, во время выполнения многозадачных задач или при выполнении интенсивных рабочих нагрузок, таких как транскодирование видео, значительно снизит производительность системы.

В статье Википедии говорится

При использовании популярных настольных приложений "разумным образом" и с использованием только одного алгоритма шифрования влияние TrueCrypt на производительность настольных приложений обычно не заметно, хотя это зависит от приложения, и опытные пользователи могут жаловаться. Использование быстрого многоядерного процессора и быстрого системного диска, предпочтительно флэш-накопителя, делает TrueCrypt почти прозрачным

Я не знаю каких-либо доказательств того, что Truecrypt значительно улучшит производительность жесткого диска.

Answer 2

В Windows 7 вы можете смонтировать.VHD как диск. Это формат виртуального жесткого диска, используемый виртуальными машинами и Windows Backup (для полного резервного копирования на ПК только на клиенте Windows и для всех резервных копий на Windows Server). Нет сжатия или шифрования. Замедление производительности при обычном использовании минимально. В конце концов, люди используют целые виртуальные машины таким образом.

Метаданные NTFS и поиск на диске могут привести к значительным накладным расходам на небольшие файлы. Например, копирование 10 000 файлов объемом менее 10 КБ каждый на жесткий диск USB будет производиться со скоростью около 300 файлов в секунду. Это 30 секунд, чтобы скопировать файлы по отдельности, против 10 секунд, чтобы скопировать их в блок. (Разница становится еще более заметной при использовании внутренних дисков или дисков eSATA, поскольку пропускная способность блоков выше. Твердотельные накопители настолько хороши при произвольном доступе, что это не имеет значения в любом случае.)

Но файлы размером 500 КБ достаточно велики, чтобы влияние могло быть ограничено. Вы должны сравнить его и посмотреть.