Обновление с неэффективного массива RAID5

Question

После долгих исследований и покупки PCMark7, я считаю, что я определил основную причину проблем с производительностью моего ПК - мой дисковый массив RAID5. Результаты PCMark7 перечислены ниже. Я предполагаю, что низкая производительность является следствием использования встроенного RAID-контроллера моих материнских плат.

Мои вопросы:

1. Я прав, что эти показатели производительности являются низкими?
2. Если да, то какие решения могли бы улучшить производительность? (т.е. модификации в системе)

ПРИМЕЧАНИЕ: я использую RAID 5 частично для развлечения и частично для защиты от сбоя диска. Обратите внимание, что я также делаю резервные копии своих данных на внешний диск, поэтому нет необходимости информировать меня о том, что RAID не заменяет хорошую стратегию резервного копирования.

System Storage Score: 1308
System Storage - importing pictures 5.18 MB/s
System Storage - adding music 0.7 MB/s
System Storage - video editng  15.00 MB/s

Другие ключевые технические характеристики системы:

• Процессор Intel Core i7-950
• 64-битная Windows 7 (6.1.7601)
• 8192 МБ памяти (Corsair DDR3 @ 667 МГц)
• 1500 ГБ, том 0, массив

Полные результаты: http://www.3dmark.com/pcm7/584260

Answer 1

Встроенный RAID5 обычно работает очень плохо. Intel ICH10R (встроенный контроллер SATA, обычно сопряженный с набором микросхем x58) не выполняет вычисления четности, а выгружается в ваш процессор.

Если вы хотите продолжить использовать RAID со встроенным контроллером, я рекомендую RAID1 или RAID10. Оба не имеют четности (RAID1 - простое зеркало, RAID10 - чередование зеркал) и обеспечат гораздо лучшую производительность.

Если вы хотите продолжать использовать RAID5, откажитесь от встроенного контроллера SATA и получите подходящую карту RAID. Вы увидите гораздо лучшую производительность (в большинстве случаев даже быстрее, чем на одном диске).

Answer 2

Прежде всего, чтобы подтвердить ваше замечание, RAID (в любой конфигурации) не является решением для резервного копирования. Некоторые конфигурации RAID являются избыточным решением, но не резервным копированием. Избыточность означает, что вы можете поддерживать данные в случае аппаратного сбоя. Резервное копирование означает, что вы можете восстановить данные. Если вы случайно удалите файл из конфигурации RAID1, он будет "удален" с обоих дисков.

Чтобы дать вам реалистичные примеры моей конфигурации RAID5, у меня есть 20 виртуальных машин, подключенных к RAID5. Нагрузка на мой сервер не очень сильно облагается налогом, и, соответственно, задержка ввода-вывода неплохая, учитывая, что 20 виртуальных машин борются за 4 диска 7200 об / мин. При более высокой нагрузке я наблюдал всплеск задержки ввода-вывода до 60%, когда все виртуальные машины загружались обратно, но этого следовало ожидать. Один из серверов выполняет ночное резервное копирование удаленных компьютеров и обычно видит задержку ввода-вывода 10-15%. Это все еще под нормальными ожиданиями. У меня есть около 10x веб-серверов и 2x телефонных серверов, постоянно работающих и облагающих налогом сервер. В общем, он очень хорошо справляется.

4 х 7200 об / мин 1,5 ТБ жестких дисков.

Я получаю в среднем 128 МБ / с с этой настройкой, когда все виртуальные машины работают (не собираюсь останавливать их для целей этого ответа. Хехе)

Мой Raid Controller - это 3ware 9650SE-4LPML, который прекрасно работает в течение многих лет. У меня нет опции резервного питания для этого контроллера Raid, но у меня есть система на ИБП.

Тем не менее, у меня также есть SSD RAID 1, который я использую для критически важных приложений. А именно серверы баз данных и серверы, требующие высокого IOPS. Несмотря на то, что мой RAID5 действительно конкурирует с SSD RAID 1 по пропускной способности, конфигурация SSD вырывает RAID5 из воды, если принять во внимание Seek Time.

Answer 3

Raid5 медленный по своей сути, когда дело доходит до записи. Чтение - то, где это превосходит, хотя это все еще отстает от других опций рейда, таких как RAID10 (o + 1). Выделенная рейдовая карта, такая как Dell Perc 5/i (может быть приобретена на ebay менее чем за 60 долларов), является отличным вариантом, поскольку это, безусловно, повысит производительность, которую вы видите. Также подключитесь к RAID10, вам понадобятся 4 диска одинакового размера, но это даст максимальную производительность, а также допустит отказ до 2 дисков.

Raid10 часто используется в производственных серверных системах, которым требуется производительность ввода-вывода, тогда как raid5 используется там, где хранилище более критично, но производительность вторична.

РЕДАКТИРОВАТЬ: Чтобы расширить, RAID10 даст вам половину дисков в вашем массиве хранения. Таким образом, если у вас есть 4 x 500 ГБ дисков в raid10, у вас будет 1 ТБ свободного места. В Raid5 вы получаете n-1 накопителей. Таким образом, те же самые диски 4 x 500 ГБ в raid5 дадут массив 1,5 ТБ, все еще терпя отказ одного диска. Это причина того, что raid5 используется, потому что он имеет отказоустойчивость, но все равно обеспечивает достойное хранилище (компромисс). Так как Raid5 должен записывать четность на один из дисков при каждой записи, это делает процесс немного замедленным. Raid10 записывает на очищенные диски (повышенная производительность), а затем карта raid "копирует" (зеркалирует) данные в избыточный массив. Это не отнимает от производительности, так как ее зеркалирование после завершения записи.

Answer 4

Теоретическая надежность RAID 0, 5, 6, 10.

RAID5/RAID6 - показывает, насколько безопаснее RAID6 RAID5.

RAID5/RAID10 - показывает, насколько безопаснее RAID10 RAID5.

р - вероятность выхода из строя жесткого диска; (Вероятность отказа жесткого диска в%, деленная на 100%)

q = 1 - p надежного жесткого диска.

Красный показывает вероятность сбоя RAID в процентах.

Другие цвета показывают надежность других типов RAID для RAID5.

M3 - the first three months of the disk, the probability of failure,  3%; 
Y/2 - half a year, the probability of failure, HDD                    2%; 
1Y - the first year of HDD, the probability of failure, HDD           1,7%; 
2Y - second year of the HDD, the probability of failure HDD           8%; 
3Y - the third year of the HDD, the probability of failure, HDD       8,7%; 
4Y - the fourth year of the HDD, the probability of failure HDD       6%; 
5Y - the fifth year of the HDD, HDD failure probability of            7%; 

Информация о надежности диска из источника взята: PDF! Тенденции отказов при заполнении большого диска

М3: 0,09%; Y/2: 0,04%; 1Y: 0,0289%; 2Y: 0,64%; 3Y: 0,7569%; 4Y: 0,36%; 5Y: 0,49%

RAID1 самый простой и надежный массив. Резервное копирование можно рассматривать как своего рода RAID1, если вы сделаете это один раз. Небольшая разница обусловлена различной надежностью.

Если вы хотите большей надежности, вы можете создать несколько резервных копий на разных устройствах. Возможный процент потери данных уменьшается до:

RAID0 - самый простой и ненадежный массив. Нужен там, где данные не так важны во время таких мимолетных экспериментов. Этот массив используется, когда требуется скорость, и данные могут быть полностью потеряны.

RAID5 давно, когда жесткий диск был небольшим и дорогим, а деревья были большими и надежными из-за его меньшего размера и скорости восстановления, были приемлемыми в то время, когда работали для этого типа RAID. Если вам вдруг пришла отличная идея использовать именно такой массив, посмотрите на таблицу.

Когда возникнет проблема с одним из жестких дисков, тогда на RAID5 вы сможете потерять весь массив. Например, если он построен на жестком диске размером 1 Тб, то скорость восстановления составит до 1-2 дней, а частота отказов составит около 10-12%, когда массив деградировал и не будет работать. В этом случае лучше восстановить данные во внешний массив хранения.

В общем, это были недорогие хранилища сайтов.

На сегодняшний день не советовал бы использовать RAID5.

RAID6 - ода надежности. RAID5 на RAID6 медленнее на 20-15-10%, в зависимости от контроллера. Напомним, что RAID5 не очень быстрый. По мере увеличения надежности диска RAID6 катастрофически падает. 8-10 HDD в массиве до разумного предела.

N - положительные четные числа.

RAID10 сложно найти хорошее основание. В первую очередь из-за легкости восстановления. Даже если ваш контроллер сгорел. Помимо прочего, надежность RAID10 увеличивается с увеличением количества дисков. Например, я видел запущенные диски RAID10 c 12, какие из них не работают 4. Как ни странно, такая ситуация не является чем-то необычным, так как скорее всего останется в рабочем состоянии у контроллера 48,5%. Для двух или трех дисков ситуация намного лучше.

Вероятность сбоя RAID 10 рассчитывается двумя способами: первый только при сбое двух жестких дисков, второй - общая вероятность сбоя. В общую вероятность входит все возможное количество вышедших из строя HDD, на которых RAID будет продолжаться.

Отказ двух жестких дисков в RAID 10:

Общая вероятность сбоя RAID 10:

Три нижние таблицы представляют следующие элементы:

Первая таблица содержит количество комбинаций, в которых будет продолжаться RAID. Левый столбец - номер HDD в RAID. Верхний заголовок - номер неисправного жесткого диска.

Пример: из 12 HDD в RAID10 вышло из строя 3 HDD. Количество комбинаций, в которых будет продолжать работать массив при сбое трех HDD - 160.

Во второй таблице показано количество уникальных комбинаций для определенного количества жестких дисков в RAID для заданного количества жестких дисков. Левый столбец - номер HDD в RAID. Верхний заголовок - номер жесткого диска, на котором подсчитывается количество уникальных комбинаций.

Пример: Количество уникальных комбинаций для 3 HDD в массиве из 12 HDD - 220.

Третья таблица показывает процент комбинаций, в которых RAID будет продолжать работать, и общее количество комбинаций. Левый столбец - номер HDD в RAID. Верхний заголовок - вероятность выхода из строя RAID, если его надежность зависит только от комбинации HDD и такой тест будет проведен.

Пример: из 12 HDD в RAID10 вышло из строя 3 HDD.

Вероятность удачного сочетания, в котором RAID-массив сохранится до 72,7%.

Эти цифры должны быть приняты во внимание, но также имейте в виду, что мы имеем дело с произведением вероятностей. Так что итоговая вероятность будет меньше, если сойдет три жестких диска.

Основная цель этих таблиц состоит в том, чтобы дать представление о том, почему существует рост надежности RAID10 при относительно большом количестве дисков относительно высокой надежности надежности RAID6 и RAID5.

Как я могу проверить таблицу с удачной комбинацией? Напомним, что общее количество успешных комбинаций при выходе из строя жесткого диска составляет (3 ^ m) -1, где m = N/2. Суммируйте строку с RAID 10 как у нас, даже если это массив из 24 дисков: 24+ 264+ ... + 4096 и сравните с (3 ^ 12) -1.

Обсуждение о риске RAID

Йорг Х. • Горячие резервы помогают вам только в том случае, если массив агрессивно отказывает накопителям до того, как они полностью умрут. Затем массив может скопировать "сбойный" диск в "горячий" резерв, а не перестраивать данные из паритета. Проблема в том, что это немного удачно, если массив не ОЧЕНЬ агрессивен, и даже в этом случае нет 100% гарантии, что каждый сбой будет обнаружен до того, как произойдет серьезный сбой. Таким образом, по крайней мере, вы должны планировать восстановление из паритета, несмотря ни на что.

Что касается RAID-6 против других типов RAID и размера диска. Это действительно так просто. Если учесть MTTDL (среднее время до потери данных) в системе с 20 x 1 ТБ дисками, скоростью перестройки 50 МБ / с и около 15 ТБ фактических данных, хранящихся в системе, вы получаете следующие частоты отказов RAID:

Год 1: RAID-5 - 13,76%, RAID-10 - 0,078%, RAID-6 - 0,516%

Год 2: RAID-5 - 25,6% RAID-10 - 0,156% RAID-6 - 1,03%

Год 3: RAID-5 - 36,86% RAID-10 - 0,23% RAID-6 - 1,54

Год 5: RAID-5 - 53,30% RAID-10 - 0,38% RAID-6 - 2,56%

Итак, как вы можете видеть, я поддерживаю мое предыдущее предположение, что эмпирическое правило на самом деле довольно хорошее. С любым диском размером 1 ТБ или больше вы хотите использовать что-то отличное от RAID-5, точка. Вы не можете полагаться на "горячие" резервы, чтобы спасти себя, поэтому у вас есть только варианты RAID-10 или RAID-6 в вашем типичном массиве. Выбери свой яд или вращай камеру, решать тебе.

О, еще один момент, для системы Netapp номера RAID-DP практически идентичны числам RAID-10 с точки зрения MTTDL. Очевидно, что если время восстановления превышает 50 МБ / с, то ваши шансы становятся лучше, а если оно хуже, как на некоторых дисках SATA, то ваши шансы ухудшаются, но 50 МБ / с - довольно хорошее среднее значение для работы.

И, наконец, некоторые утверждают, что MTTDL не является хорошим показателем надежности. К сожалению, это единственное, что у нас есть в общем использовании. Для получения дополнительной информации по этой теме, посмотрите статью «Среднее время к бессмысленному: MTTDL, модели Маркова и надежность системы хранения», написанную Гринаном, Планком и Уайли.