4

Я хотел бы разбить большой файл (300 ГБ), который находится в моем home каталоге под dev/sdb1 на две (или более) разные части и переместить их на два разных дисковода. Тем не менее, я хотел бы, чтобы моя система видела файл как один.

Чтобы быть более конкретным, я хотел бы разделить файл на две части по 150 ГБ (или три по 100 ГБ и т.д.) И переместить эти части в различные имеющиеся у меня SSD. Но этот файл используется как стимул для исследовательского проекта, и я хотел бы, чтобы система воспринимала его как единое целое. Кроме того, мне нужно будет указать его путь в другом файле (файл .prototxt где я указываю все входные данные для моей программы), и именно поэтому я хочу иметь один путь, по которому система распознает этот (разделенный) файл. К сожалению, твердотельные накопители недостаточно велики, чтобы вместить весь файл.

Кроме того, когда я запускаю df -h SSD отображаются как:

Filesystem                           Mounted on
cluster-name-1-int:/var/tmp/local    /import/cluster-name-1-int  
cluster-name-2-int:/var/tmp/local    /import/cluster-name-2-int

Моя система находится в кластере, но я не думаю, что это будет иметь какое-либо значение, потому что у меня есть доступ с компьютера имени cluster-name-1 к SSD на других.Наконец, у меня нет доступа с правами root, поэтому, пожалуйста, скажите, нужно ли вашему решению привилегии root, чтобы я знал и нашел способ реализовать это решение.

РЕДАКТИРОВАТЬ: Я предоставляю столько информации, сколько я думаю, было бы полезно. Используйте все, что, по вашему мнению, может помочь в поиске решения, и любые советы приветствуются.

1 ответ1

1

Если вы смогли добавить формат SSD и смонтировать его, RAID не должен быть проблемой.

Корневой доступ может потребоваться один раз для монтирования и назначения разрешения для RAID, но не после этого.

Аппаратный RAID 5 или 6 будет вращаться вокруг программного RAID, потому что карта RAID имеет собственную память и ЦП, а ваш ЦП не выполняет никакой работы.

Используйте raid lingo, полоса размером 8 МБ, так как это максимизирует скорость SSD. Если 8 Мб недоступен, используйте самый большой доступный.

Контроллеры RAID имеют собственный BIOS для создания RAID, поэтому для этого не нужен локальный корневой доступ.

Если вы поместите SSD в RAID 5, все данные будут автоматически распределены по каждому диску. В фоновом режиме данные разбиты на блоки. Если у вас 3 диска RAID 5, в основном 1/3 данных находится на каждом диске. В Linux весь RAID будет иметь 1 точку монтирования. Файл по-прежнему будет только 1 файлом, но он получит преимущество в скорости (3-кратная скорость чтения для 3 дисков, при условии, что ваш контроллер может справиться с такой скоростью.). Использование правильной карты рейда.

Еще одно примечание: SSD должен быть того же размера, или некоторое пространство будет потрачено впустую. Если у вас есть 3 диска 128 ГБ, 128 ГБ, 64 ГБ, тогда RAID будет отображать 64x3. Вы можете обновить 64 ГБ позже и расширить весь массив до 128x3. Вы теряете 1 диск для проверки четности данных, но если один из дисков выходит из строя, другой 2 автоматически восстанавливает его.

Аппаратные RAID-массивы являются лучшими, но программный RAID существует, за исключением записи в них, использует кучу процессоров.

  1. Linux имеет встроенную возможность иметь программный RAID 5.
  2. В Linux также есть файловая система ZFS, которая позволяет вам объединять файлы различными способами, включая, помимо прочего, RAID 5. Недостатком является то, что он использует много памяти и немного процессора. http://www.thegeekstuff.com/2015/07/zfs-on-linux-zpool/

zpool create -f mypool raidz sdb sdc sdd sde sdf

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .