Я столкнулся с тем, что является настоящей загадкой для меня сегодня, и был бы рад, если бы кто-то мог дать мне представление о том, как то, что случилось, возможно.
Ранее в тот же день мы физически удалили диск из нашего программного RAID1 (Ubuntu 14.04, если он имеет значение) и пошли на его повторное добавление. (/dev/sda2 был активным разделом в RAID, и мы хотели повторно добавить /dev/sdb2 и сделать его повторную синхронизацию, /dev/md1 - рассматриваемый массив RAID)
Мы ввели команду: mdadm /dev/md1 --add /dev/sdb2
Почти сразу же мы заметили, что диск не синхронизировался, так как проверка /proc/mdstat показала, что диск уже включен в массив.
Через минуту приложения перестали работать, сбой ext4 и перемонтирование только для чтения. Похоже, что диск был повторно добавлен в массив без синхронизации с существующим. Вывод из системного журнала, кажется, подтверждает, что:
[ 1607.017583] md: bind<sdb2>
[ 1607.019831] RAID1 conf printout:
[ 1607.019839] --- wd:1 rd:3
[ 1607.019842] disk 0, wo:1, o:1, dev:sdb2
[ 1607.019845] disk 1, wo:0, o:1, dev:sda2
[ 1607.019911] md: recovery of RAID array md1
[ 1607.019915] md: minimum _guaranteed_ speed: 1000 KB/sec/disk.
[ 1607.019917] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
[ 1607.019923] md: using 128k window, over a total of 341795704k.
[ 1607.020187] md: md1: recovery done.
[ 1607.022356] RAID1 conf printout:
[ 1607.022359] --- wd:2 rd:3
[ 1607.022361] disk 0, wo:0, o:1, dev:sdb2
[ 1607.022364] disk 1, wo:0, o:1, dev:sda2
...
[ 1651.932310] init: mysql main process (1192) terminated with status 1
[ 1651.932329] init: mysql main process ended, respawning
[ 1654.691865] init: mysql main process (9271) terminated with status 1
[ 1654.691883] init: mysql main process ended, respawning
[ 1655.004970] init: mysql post-start process (9272) terminated with status 1
[ 1656.937186] EXT4-fs error (device md1): ext4_mb_generate_buddy:756: group 494, block bitmap and bg descriptor inconsistent: 1284 vs 8190 free clusters
[ 1656.937268] Aborting journal on device md1-8.
[ 1656.937718] EXT4-fs (md1): Remounting filesystem read-only
[ 1656.937921] EXT4-fs error (device md1): ext4_mb_generate_buddy:756: group 495, block bitmap and bg descriptor inconsistent: 479 vs 10240 free clusters
[ 1656.938181] EXT4-fs error (device md1): ext4_mb_generate_buddy:756: group 496, block bitmap and bg descriptor inconsistent: 23892 vs 23866 free clusters
[ 1656.938411] EXT4-fs error (device md1): ext4_mb_generate_buddy:756: group 497, block bitmap and bg descriptor inconsistent: 11610 vs 16699 free clusters
[ 1656.938639] EXT4-fs error (device md1): ext4_mb_generate_buddy:756: group 498, block bitmap and bg descriptor inconsistent: 2560 vs 10642 free clusters
[ 1656.938782] EXT4-fs error (device md1): ext4_mb_generate_buddy:756: group 499, block bitmap and bg descriptor inconsistent: 3830 vs 14336 free clusters
Особо следует отметить строку, в которой говорится, что необходимо синхронизировать 341795704k, а затем через миллисекунду указано "восстановление выполнено".
Как это произошло и что мы сделали неправильно, если вообще что-то допустили, чтобы это произошло?