Я использовал инструкции @Paul (https://superuser.com/users/89018/paul) в его ответе на Shrink RAID, удалив диск? но я думаю, что, возможно, совершил ужасную ошибку. Вот низкий ...
Я обновлял 4 ТБ накопителя в моем DS1813+ один за другим с накопителями Seagate Ironwolf 10 ТБ. У меня остался один диск для обновления, но я решил вместо того, чтобы пройти день + процесс перестройки массива после обновления диска и затем выполнить процесс Пола, который вместо этого я просто удалил бы диск 4 ТБ из массива во время процесса сжатия I ' был бы в состоянии потерпеть неудачу; к сожалению, это было не так, и я боюсь, что сейчас может быть слишком поздно для моих 22 ТБ данных. Вот моя сессия PuTTY:
ash-4.3# pvdisplay -C
PV VG Fmt Attr PSize PFree
/dev/md2 vg1 lvm2 a-- 25.44t 50.62g
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
27316073792 blocks super 1.2 level 5, 64k chunk, algorithm 2 [8/8] [UUUUUUUU]
md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
2097088 blocks [8/8] [UUUUUUUU]
md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
ash-4.3# exit
exit
Rob@Apophos-DS:~$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/md0 2.3G 940M 1.3G 43% /
none 2.0G 4.0K 2.0G 1% /dev
/tmp 2.0G 656K 2.0G 1% /tmp
/run 2.0G 9.8M 2.0G 1% /run
/dev/shm 2.0G 4.0K 2.0G 1% /dev/shm
none 4.0K 0 4.0K 0% /sys/fs/cgroup
cgmfs 100K 0 100K 0% /run/cgmanager/fs
/dev/vg1/volume_3 493G 749M 492G 1% /volume3
/dev/vg1/volume_1 3.4T 2.3T 1.1T 69% /volume1
/dev/vg1/volume_2 22T 19T 2.4T 89% /volume2
Rob@Apophos-DS:~$ pvdisplay -C
WARNING: Running as a non-root user. Functionality may be unavailable.
/var/lock/lvm/P_global:aux: open failed: Permission denied
Unable to obtain global lock.
Rob@Apophos-DS:~$ sudo su
Password:
ash-4.3# pvdisplay -C
PV VG Fmt Attr PSize PFree
/dev/md2 vg1 lvm2 a-- 25.44t 50.62g
ash-4.3# mdadm --grow -n5 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: this change will reduce the size of the array.
use --grow --array-size first to truncate array.
e.g. mdadm --grow /dev/md2 --array-size 15609185024
ash-4.3# mdadm --grow /dev/md2 --array-size 15609185024
ash-4.3# pvdisplay -C
PV VG Fmt Attr PSize PFree
/dev/md2 vg1 lvm2 a-- 25.44t 50.62g
ash-4.3# mdadm --grow -n6 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 2240K of critical section..
mdadm: /dev/md2: Cannot grow - need backup-file
ash-4.3# mdadm --grow -n5 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 1792K of critical section..
mdadm: /dev/md2: Cannot grow - need backup-file
ash-4.3# mdadm --grow -n5 /dev/md2 --backup-file /root/mdadm.md0.backup
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 1792K of critical section..
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
[>....................] reshape = 0.0% (216708/3902296256) finish=3000.8min speed=21670K/sec
md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
2097088 blocks [8/8] [UUUUUUUU]
md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
[>....................] reshape = 0.0% (693820/3902296256) finish=3230.3min speed=20129K/sec
md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
2097088 blocks [8/8] [UUUUUUUU]
md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
[>....................] reshape = 0.0% (1130368/3902296256) finish=6500.6min speed=10001K/sec
md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
2097088 blocks [8/8] [UUUUUUUU]
md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
[>....................] reshape = 0.0% (1442368/3902296256) finish=6667.7min speed=9750K/sec
md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
2097088 blocks [8/8] [UUUUUUUU]
md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md2 : active raid5 sdf3[13] sdh3[7] sdb3[9] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
[>....................] reshape = 0.4% (18826624/3902296256) finish=6706.8min speed=9650K/sec
md1 : active raid1 sdf2[5] sda2[1] sdb2[7] sdc2[2] sdd2[3] sde2[4] sdg2[6] sdh2[0]
2097088 blocks [8/8] [UUUUUUUU]
md0 : active raid1 sdf1[5] sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
ash-4.3#
Broadcast message from root@Apophos-DS
(unknown) at 22:16 ...
The system is going down for reboot NOW!
login as: Rob
Rob@192.168.81.181's password:
Could not chdir to home directory /var/services/homes/Rob: No such file or directory
Rob@Apophos-DS:/$ sudo su
Password:
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md1 : active raid1 sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1] sda2[0]
2097088 blocks [8/8] [UUUUUUUU]
[=====>...............] resync = 26.8% (563584/2097088) finish=2.4min speed=10314K/sec
md2 : active raid5 sdh3[7] sdb3[9] sdf3[13] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
[>....................] reshape = 0.5% (19578240/3902296256) finish=10384.2min speed=6231K/sec
md0 : active raid1 sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdf1[5] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
Теперь, с предысторией истории и показаниями моего PuTTY, я надеюсь, что кто-нибудь подскажет мне, как открутить себя. Я полагаю, что моя проблема - после запуска процесса без достаточного предвидения, рассмотрения и полного понимания самого процесса - имеет два аспекта: я не провалил окончательный оставшийся накопитель на 4 ТБ заранее, поэтому программное обеспечение основывалось на вычислениях с диска наименьшего размера - 4 ТБ (вероятно, не принимая во внимание 70 ТБ свободного места между остальными 7 дисками) и, возможно, мои команды mdadm --grow с разными ключами -n #.
ash-4.3# mdadm --grow -n5 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: this change will reduce the size of the array.
use --grow --array-size first to truncate array.
e.g. mdadm --grow /dev/md2 --array-size 15609185024
ash-4.3# mdadm --grow /dev/md2 --array-size 15609185024
ash-4.3# pvdisplay -C
PV VG Fmt Attr PSize PFree
/dev/md2 vg1 lvm2 a-- 25.44t 50.62g
ash-4.3# mdadm --grow -n6 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 2240K of critical section..
mdadm: /dev/md2: Cannot grow - need backup-file
ash-4.3# mdadm --grow -n5 /dev/md2
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 1792K of critical section..
mdadm: /dev/md2: Cannot grow - need backup-file
ash-4.3# mdadm --grow -n5 /dev/md2 --backup-file /root/mdadm.md0.backup
mdadm: max_devs [384] of [/dev/md2]
mdadm: Need to backup 1792K of critical section..
Вот текущий вывод команды cat /proc /mdstat - я заметил, что /dev /md2 показывает только 5 Us по сравнению с 8U других mds, и это пугает меня, так как они все тома в одной группе RAID из 8 дисков:
ash-4.3# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4]
md1 : active raid1 sdh2[7] sdg2[6] sdf2[5] sde2[4] sdd2[3] sdc2[2] sdb2[1] sda2[0]
2097088 blocks [8/8] [UUUUUUUU]
md2 : active raid5 sdh3[7] sdb3[9] sdf3[13] sdg3[6] sde3[12] sdd3[11] sdc3[10] sda3[8]
15609185024 blocks super 1.2 level 5, 64k chunk, algorithm 2 [5/5] [UUUUU]
[>....................] reshape = 1.2% (48599680/3902296256) finish=6495.2min speed=9888K/sec
md0 : active raid1 sda1[1] sdb1[7] sdc1[2] sdd1[3] sde1[4] sdf1[5] sdg1[6] sdh1[0]
2490176 blocks [8/8] [UUUUUUUU]
unused devices: <none>
По крайней мере, мне нужно сохранить /dev /vg1 /volume_1. Я надеюсь, что, поскольку я не коснулся этого тома, это будет возможно, но на данный момент я не знаю, поскольку все 3 тома перечислены в списке как "Сбой" в DSM. Я надеюсь (но не надеюсь), что после завершения проверки согласованности все будет в порядке.
Любой, кто знает mdadm, я остро нуждаюсь в вашей помощи! Пол, если ты там, мне нужна твоя помощь! Я знаю, что облажался, и есть большая вероятность, что я потерял все, но если есть что-то, что вы можете предложить, у которого есть шанс спасти мой бекон, пожалуйста, помогите!
Обновление (5/5/17): без изменений, за исключением того, что изменение формы продолжается до 17,77%. DSM по-прежнему отображает все тома как «Сбой (проверка согласованности четности 17,77%)», а группа дисков сообщает «Проверка жестких дисков в фоновом режиме (проверка согласованности четности 17,77%)». Вот образ группы дисков:
Я считаю, что критически важным шагом, который я пропустил, было либо запустить mdadm /dev/md2 --fail /dev/sdf3 --remove /dev/sdf3 либо вручную удалить диск - это привело бы к отказу оставшегося диска объемом 4 ТБ и удалению его из массива, оставив меня с массивом RAID 5 с ухудшенной 7 x 10 ТБ. Мой вопрос сейчас - я должен ждать, пока массив не закончится, изменяя форму, чтобы удалить диск 4TB? Или я должен пойти дальше и потерпеть неудачу / удалить это сейчас? Мое чувство паука говорит, что удаление диска во время перестройки / изменения формы будет плохо, так как меня этому всегда учили, но я не знаю, действительно ли это верно в этой ситуации, когда mdadm пытается собрать 7 дисков стоимостью пространство на 5 дисков зависит только от размера оставшегося 4 ТБ диска.
Также, в случае, если это полезно, вот вывод из mdadm -D /dev/md2:
/dev/md2:
Version : 1.2
Creation Time : Wed Mar 5 22:45:07 2014
Raid Level : raid5
Array Size : 15609185024 (14886.08 GiB 15983.81 GB)
Used Dev Size : 3902296256 (3721.52 GiB 3995.95 GB)
Raid Devices : 5
Total Devices : 8
Persistence : Superblock is persistent
Update Time : Tue Dec 5 17:46:27 2017
State : clean, recovering
Active Devices : 8
Working Devices : 8
Failed Devices : 0
Spare Devices : 0
Layout : left-symmetric
Chunk Size : 64K
Reshape Status : 18% complete
Delta Devices : -3, (5->2)
Name : DS:2 (local to host DS)
UUID : UUID
Events : 153828
Number Major Minor RaidDevice State
7 8 115 0 active sync /dev/sdh3
8 8 3 1 active sync /dev/sda3
10 8 35 2 active sync /dev/sdc3
11 8 51 3 active sync /dev/sdd3
12 8 67 4 active sync /dev/sde3
6 8 99 5 active sync /dev/sdg3
9 8 19 7 active sync /dev/sdb3
13 8 83 6 active sync /dev/sdf3
Меня беспокоит то, что размер массива указан как 16 ТБ, когда общий размер данных в массиве превышает 20 ТБ. Я не уверен, что я должен делать на этом этапе. Любые мысли или опыт будут с благодарностью!