У меня есть 4 сервера чанков moosefs с объемом хранилища 2,7 ТБ на каждом, я монтирую их с помощью mfsmount, а затем экспортирую с помощью nfs. Недавно я заметил высокий iowait на своих серверах чанков, затем огромные размеры монтирований, см. Графики.
1
2 ответа
1
Причиной этой проблемы было ОЗУ на сервере MFS, он начал использовать 50% подкачки, когда я увеличил ОЗУ, все начало работать, как ожидалось, но все еще высокий iowait существует на сервере чанка, я думаю, что мы должны перейти от Jbod на какой-то рейд.
1
О веб-сайте JBOD moosefs.com говорится следующее (в разделе "Лучшие практики"):(https://moosefs.com/documentation/best-practices.html#jbod)
JBOD и XFS для чанксерверов
Мы рекомендуем подключаться к JBOD-серверам Chunkserver. Просто отформатируйте диск как XFS и смонтируйте, например,
/mnt/chunk01, /mnt/chunk02, ...и поместите эти пути в/etc/mfs/mfschunkserver.cfg. Это все.Мы рекомендуем такую конфигурацию в основном по двум причинам:
MooseFS имеет механизм проверки, находится ли жесткий диск в хорошем состоянии или нет. MooseFS может обнаруживать сломанные диски, копировать данные и помечать такие диски как поврежденные. Иная ситуация с RAID: алгоритмы MooseFS не работают с RAID, поэтому о поврежденных RAID-массивах можно ошибочно сообщить как исправные.
Другой аспект - время репликации. Предположим, у вас установлена цель 2 для всего экземпляра MooseFS. Если один из дисков TiB сломается, репликация (из другой копии) будет длиться около 40-60 минут. Если один большой RAID (например, 36 TiB) будет поврежден, репликация может продолжаться даже в течение 12-18 часов. Пока процесс репликации не завершится, некоторые из ваших данных находятся в опасности, потому что у вас есть только одна действительная копия. Если в течение этого времени произойдет сбой другого диска или RAID, некоторые из ваших данных могут быть безвозвратно потеряны. Таким образом, более длительный период репликации подвергает ваши данные большей опасности.