3

Я использовал инструкции @Paul (https://superuser.com/users/89018/paul) в его ответе на Shrink RAID, удалив диск? но я думаю, что, возможно, совершил ужасную ошибку. Вот низкий ...

Я обновлял 4 ТБ накопителя в моем DS1813+ один за другим с накопителями Seagate Ironwolf 10 ТБ. У меня остался один диск для обновления, но я решил вместо того, чтобы пройти день + процесс перестройки массива после обновления диска и затем выполнить процесс Пола, который вместо этого я просто удалил бы диск 4 ТБ из массива во время процесса сжатия I ' был бы в состоянии потерпеть неудачу; к сожалению, это было не так, и я боюсь, что сейчас может быть слишком поздно для моих 22 ТБ данных. Вот моя сессия PuTTY:

ash-4.3# pvdisplay -C
      PV         VG   Fmt  Attr PSize  PFree
      /dev/md2   vg1  lvm2 a--  25.44t 50.62g
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      27316073792 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]

md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
      2097088 blocks [8/8] [UUUUUUUU]

md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>
ash-4.3# exit
exit
Rob@Apophos-DS:~$ df -h
Filesystem         Size  Used Avail Use% Mounted on
/dev/md0           2.3G  940M  1.3G  43% /
none               2.0G  4.0K  2.0G   1% /dev
/tmp               2.0G  656K  2.0G   1% /tmp
/run               2.0G  9.8M  2.0G   1% /run
/dev/shm           2.0G  4.0K  2.0G   1% /dev/shm
none               4.0K     0  4.0K   0% /sys/fs/cgroup
cgmfs              100K     0  100K   0% /run/cgmanager/fs
/dev/vg1/volume_3  493G  749M  492G   1% /volume3
/dev/vg1/volume_1  3.4T  2.3T  1.1T  69% /volume1
/dev/vg1/volume_2   22T   19T  2.4T  89% /volume2
Rob@Apophos-DS:~$ pvdisplay -C
  WARNING: Running as a non-root user. Functionality may be unavailable.
  /var/lock/lvm/P_global:aux: open failed: Permission denied
  Unable to obtain global lock.
Rob@Apophos-DS:~$ sudo su
Password:
ash-4.3# pvdisplay -C
  PV         VG   Fmt  Attr PSize  PFree
  /dev/md2   vg1  lvm2 a--  25.44t 50.62g
ash-4.3# mdadm --grow -n5 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: this change will reduce the size of the array.
       use --grow --array-size first to truncate array.
       e.g. mdadm --grow /dev/md2 --array-size 15609185024
ash-4.3# mdadm --grow /dev/md2 --array-size 15609185024
ash-4.3# pvdisplay -C
  PV         VG   Fmt  Attr PSize  PFree
  /dev/md2   vg1  lvm2 a--  25.44t 50.62g
ash-4.3# mdadm --grow -n6 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 2240K of critical section..
mdadm: /dev/md2: Cannot grow - need backup-file
ash-4.3# mdadm --grow -n5 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 1792K of critical section..
mdadm: /dev/md2: Cannot grow - need backup-file
ash-4.3# mdadm --grow -n5 /dev/md2 --backup-file /root/mdadm.md0.backup
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 1792K of critical section..
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  0.0% (216708/3902296256) finish=3000.8min speed=21670K/sec

md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
      2097088 blocks [8/8] [UUUUUUUU]

md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  0.0% (693820/3902296256) finish=3230.3min speed=20129K/sec

md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
      2097088 blocks [8/8] [UUUUUUUU]

md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  0.0% (1130368/3902296256) finish=6500.6min speed=10001K/sec

md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
      2097088 blocks [8/8] [UUUUUUUU]

md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  0.0% (1442368/3902296256) finish=6667.7min speed=9750K/sec

md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
      2097088 blocks [8/8] [UUUUUUUU]

md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  0.4% (18826624/3902296256) finish=6706.8min speed=9650K/sec

md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
      2097088 blocks [8/8] [UUUUUUUU]

md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>
ash-4.3#
Broadcast message from root@Apophos-DS
        (unknown) at 22:16 ...

The system is going down for reboot NOW!
login as: Rob
Rob@192.168.81.181's password:
Could not chdir to home directory /var/services/homes/Rob: No such file or directory
Rob@Apophos-DS:/$ sudo su
Password:
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md1 : active raid1 sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1] sda2[0]
      2097088 blocks [8/8] [UUUUUUUU]
      [=====>...............]  resync = 26.8% (563584/2097088) finish=2.4min speed=10314K/sec

md2 : active raid5 sdh3[7] sdb3[9] sdf3[13] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  0.5% (19578240/3902296256) finish=10384.2min speed=6231K/sec

md0 : active raid1 sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdf1[5] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>

Теперь, с предысторией истории и показаниями моего PuTTY, я надеюсь, что кто-нибудь подскажет мне, как открутить себя. Я полагаю, что моя проблема - после запуска процесса без достаточного предвидения, рассмотрения и полного понимания самого процесса - имеет два аспекта: я не провалил окончательный оставшийся накопитель на 4 ТБ заранее, поэтому программное обеспечение основывалось на вычислениях с диска наименьшего размера - 4 ТБ (вероятно, не принимая во внимание 70 ТБ свободного места между остальными 7 дисками) и, возможно, мои команды mdadm --grow с разными ключами -n #.

    ash-4.3# mdadm --grow -n5 /dev/md2
    mdadm: max_devs [384] of [/dev/md2]
    mdadm: this change will reduce the size of the array.
           use --grow --array-size first to truncate array.
           e.g. mdadm --grow /dev/md2 --array-size 15609185024
    ash-4.3# mdadm --grow /dev/md2 --array-size 15609185024
    ash-4.3# pvdisplay -C
      PV         VG   Fmt  Attr PSize  PFree
      /dev/md2   vg1  lvm2 a--  25.44t 50.62g
    ash-4.3# mdadm --grow -n6 /dev/md2
    mdadm: max_devs [384] of [/dev/md2]
    mdadm: Need to backup 2240K of critical section..
    mdadm: /dev/md2: Cannot grow - need backup-file
    ash-4.3# mdadm --grow -n5 /dev/md2
    mdadm: max_devs [384] of [/dev/md2]
    mdadm: Need to backup 1792K of critical section..
    mdadm: /dev/md2: Cannot grow - need backup-file
    ash-4.3# mdadm --grow -n5 /dev/md2 --backup-file /root/mdadm.md0.backup
    mdadm: max_devs [384] of [/dev/md2]
    mdadm: Need to backup 1792K of critical section..

Вот текущий вывод команды cat /proc /mdstat - я заметил, что /dev /md2 показывает только 5 Us по сравнению с 8U других mds, и это пугает меня, так как они все тома в одной группе RAID из 8 дисков:

ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md1 : active raid1 sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1] sda2[0]
      2097088 blocks [8/8] [UUUUUUUU]

md2 : active raid5 sdh3[7] sdb3[9] sdf3[13] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
      15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
      [>....................]  reshape =  1.2% (48599680/3902296256) finish=6495.2min speed=9888K/sec

md0 : active raid1 sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdf1[5] sdg1[6] sdh1[0]
      2490176 blocks [8/8] [UUUUUUUU]

unused devices: <none>

По крайней мере, мне нужно сохранить /dev /vg1 /volume_1. Я надеюсь, что, поскольку я не коснулся этого тома, это будет возможно, но на данный момент я не знаю, поскольку все 3 тома перечислены в списке как "Сбой" в DSM. Я надеюсь (но не надеюсь), что после завершения проверки согласованности все будет в порядке.

Любой, кто знает mdadm, я остро нуждаюсь в вашей помощи! Пол, если ты там, мне нужна твоя помощь! Я знаю, что облажался, и есть большая вероятность, что я потерял все, но если есть что-то, что вы можете предложить, у которого есть шанс спасти мой бекон, пожалуйста, помогите!

Обновление (5/5/17): без изменений, за исключением того, что изменение формы продолжается до 17,77%. DSM по-прежнему отображает все тома как «Сбой (проверка согласованности четности 17,77%)», а группа дисков сообщает «Проверка жестких дисков в фоновом режиме (проверка согласованности четности 17,77%)». Вот образ группы дисков:

Образ группы дисков

Я считаю, что критически важным шагом, который я пропустил, было либо запустить mdadm /dev/md2 --fail /dev/sdf3 --remove /dev/sdf3 либо вручную удалить диск - это привело бы к отказу оставшегося диска объемом 4 ТБ и удалению его из массива, оставив меня с массивом RAID 5 с ухудшенной 7 x 10 ТБ. Мой вопрос сейчас - я должен ждать, пока массив не закончится, изменяя форму, чтобы удалить диск 4TB? Или я должен пойти дальше и потерпеть неудачу / удалить это сейчас? Мое чувство паука говорит, что удаление диска во время перестройки / изменения формы будет плохо, так как меня этому всегда учили, но я не знаю, действительно ли это верно в этой ситуации, когда mdadm пытается собрать 7 дисков стоимостью пространство на 5 дисков зависит только от размера оставшегося 4 ТБ диска.

Также, в случае, если это полезно, вот вывод из mdadm -D /dev/md2:

/dev/md2:
        Version : 1.2
  Creation Time : Wed Mar  5 22:45:07 2014
     Raid Level : raid5
     Array Size : 15609185024 (14886.08 GiB 15983.81 GB)
  Used Dev Size : 3902296256 (3721.52 GiB 3995.95 GB)
   Raid Devices : 5
  Total Devices : 8
    Persistence : Superblock is persistent

    Update Time : Tue Dec  5 17:46:27 2017
          State : clean, recovering
 Active Devices : 8
Working Devices : 8
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

 Reshape Status : 18% complete
  Delta Devices : -3, (5->2)

           Name : DS:2  (local to host DS)
           UUID : UUID
         Events : 153828

    Number   Major   Minor   RaidDevice State
       7       8      115        0      active sync   /dev/sdh3
       8       8        3        1      active sync   /dev/sda3
      10       8       35        2      active sync   /dev/sdc3
      11       8       51        3      active sync   /dev/sdd3
      12       8       67        4      active sync   /dev/sde3

       6       8       99        5      active sync   /dev/sdg3
       9       8       19        7      active sync   /dev/sdb3
      13       8       83        6      active sync   /dev/sdf3

Меня беспокоит то, что размер массива указан как 16 ТБ, когда общий размер данных в массиве превышает 20 ТБ. Я не уверен, что я должен делать на этом этапе. Любые мысли или опыт будут с благодарностью!

0