Какую файловую систему следует использовать для большого объема дискового пространства в Linux (> 32 ТБ)?

Question

Я пытаюсь сделать большую файловую систему в Linux, но столкнулся с проблемами многих распространенных файловых систем.

• В JFS есть ошибка, которая не позволяет расширение более 32 ТБ.
• XFS имеет ошибку в fsck, которая заставляет машину использовать всю доступную память, и происходит сбой при запуске fsck на диске с большим объемом данных (~ 20 ТБ).
• EXT4 ограничен 16 ТБ из-за проблемы с e2fsprogs.
• BTRFS будет хорош, но в настоящее время у них нет fsck, который мне понадобится.

Есть другие идеи?

Answer 1

Это может быть не так быстро, как другие, поскольку это всего лишь система, основанная на предохранителях в Linux, но ZFS может соответствовать всем требованиям ...

Название первоначально расшифровывалось как "Zettabyte File System". Оригинальные селекторы имен оказались похожими на имя, а файловая система ZFS имеет возможность хранить 2 ⁵⁸ зетабайт, где каждый ZB равен 2 ⁷⁰ байтов.

ZFS - это 128-битная файловая система, поэтому она может адресовать 1,84 × 10 в ¹⁹ раз больше данных, чем 64-битные системы, такие как NTFS. Ограничения ZFS разработаны так, что они никогда не встретятся. Некоторые теоретические ограничения в ZFS:

• 2 ⁴⁸ - Количество записей в любом отдельном каталоге
• 16 эксабайт (16 × 10 ¹⁸ байт) - максимальный размер одного файла
• 16 эксабайт - максимальный размер любого атрибута
• 2 ⁵⁶ зеттабайт (2 ⁷⁸ байт) - максимальный размер любого zpool
• 2 ⁵⁶ - Количество атрибутов файла (фактически ограничено 2 ⁴⁸ для количества файлов в файловой системе ZFS)
• 2 ⁶⁴ - Количество устройств в любом zpool
• 2 ⁶⁴ - Количество zpools в системе
• 2 ⁶⁴ - Количество файловых систем в zpool

Есть люди, которые говорят, что в земной коре недостаточно атомов, чтобы сделать массив хранения файлов достаточно большим, чтобы превзойти ограничения ZFS.

Answer 2

ZFS является возможным решением, но в настоящее время можно также использовать файловые системы, которые вы исключили в начале

• ext4: петабайтная файловая система не должна быть проблемой в последних версиях e2fsprog и kernel
• btrfs: имеет рабочий btfsck и может также масштабироваться до больших размеров.