4

Из блога FB:

... устанавливается поверх лезвий для хранения товаров. Типичная аппаратная конфигурация блейд-накопителя 2U:

  • 2 х четырехъядерных процессора
  • 16 ГБ - 32 ГБ памяти
  • аппаратный рейд-контроллер с 256 МБ - 512 МБ кэш-памяти NVRAM
  • 12+ 1 ТБ SATA дисков

Может кто-нибудь сказать, пожалуйста, какие именно детали они используют.

Я знаю, что вы можете получить материнские платы, которые могут занимать 2 процессора, я могу получить материнские платы, которые могут вместить 16 ГБ оперативной памяти, но как мне подключить 12 дисков?

7 ответов7

6

двенадцать 1 ТБ дисков? арахис, думай БОЛЬШОЙ! :)

Texas Memory Systems запускает систему твердотельных накопителей RamSan-6200, которая предлагает до 100 терабайт флэш-памяти в конфигурации стойки 40U, которая может поддерживать рекордные 5 миллионов входов / выходов в секунду (IOPS) при пропускной способности 60 гигабайт в секунду при использовании чуть более 6 киловатт мощности.

альтернативный текст

все это за колоссальный ценник в 4,4 миллиона долларов, слышишь меня, Санта? :)

(возможно, RAMinSANe будет лучшим именем)

но если у вас все в порядке только с 12 дисками, вы получите хороший SATA 12 Drive Enclosure с контроллером (скорость> 500 МБ / с) примерно за $ 1000

альтернативный текст

5

Я ненавижу выкапывать такой старый вопрос, но эти ответы нуждаются в помощи. Существует несколько различных корпусов 2U, в которых имеются отсеки с горячей заменой 12x3,5 "(3 по вертикали x 4 по горизонтали - см. SC826 от Supermicro), и даже некоторые из них также имеют один или два внутренних отсека (http://www.servaris). .com/servers_m2100.php). Это плотно, но не невозможно. Если вы хотите немного сойти с ума, Supermicro SC847 поддерживает 45 отсеков для жестких дисков с горячей заменой в 4U (без материнской платы) или 36 с материнской платой E-ATX, а кто-то делает случай (RMC5D2) с 48 вертикальными отсеками для горячей замены с местом для E -Аткс и я думаю 7 полноразмерных карт в 5U.

Я полагаю, что это для системы Haystack Facebook для фотографий, где они используют контроллер RAID 6 для подключения 12 дисков к 2U-стойному серверу. Вы можете купить низкопрофильный, который все еще поддерживает 12 дисков или использовать карту Riser. Как часть их IPO в 2012 году, они показали, что хранят "более 100 петабайт" фотографий и видео. Даже с более новыми дисками на 4 и 6 ТБ, таких машин много.

Facebook также использует систему Hadoop на 100+ PB для анализа всего, что происходит на сайте (несколько ТБ / день). Он пропускает дисковые массивы RAID и делает весь компьютер избыточным, разбивая большие файлы на блоки по 64 МБ и записывая каждый блок на несколько компьютеров. Для этого вы можете получить материнскую плату с 8 портами и дешево добавить 4 порта без RAID. Я почти уверен, что на этих машинах не так много дисков, но технология основана на том, что делает Google. У Google есть стойки с 12 дисковыми машинами без RAID и множество интересных компьютерных конструкций. Они почти достаточно велики для того, чтобы заказные детали были объемным заказом товарного оборудования.

Вы можете посмотреть видео на различных типах серверов Facebook здесь.

Несколько позже Facebook представила систему хранения Open Vault, которая поддерживает 30 дисков в 2U Open Rack (такая же общая ширина шкафа, но внутренняя ширина 21 "по сравнению со стандартными 19"). Из корпуса есть 2 отдельных лотка 1U, каждый с 15 дисками (5 в ширину и 3 в глубину) и 2 расширителями SAS. Видео на YouTube демонстрирует систему, в которой каждый из 30 3,5-дюймовых отсеков для накопителей заполнен 2x2,5-дюймовыми твердотельными накопителями, что обеспечит серьезную мощность ввода-вывода в сочетании с 12G SAS. По словам производителей SSD, одно устройство может поддерживать 5 миллионов IOPS. Полный кабинет будет поддерживать более 90 миллионов операций ввода-вывода в секунду и пропускную способность 170 ГБ / с (с ограниченным интерфейсом) и 1 ПБ хранилища SSD (до 3,2 ПБ вращающегося диска с гелиевым наполнением). Если вы просто хотите использовать его для действительно приятного NAS, есть сервер Open Compute, который использует Open Vault с серверными платами ARM внутри.

Еще более интересно то, что Facebook экспериментирует с Blu-ray для холодного хранения (к данным мало обращаются, если вообще когда-либо). Их прототип имеет 10 368 дисков по 100 ГБ каждый и хранит около 1 ПБ данных. У них есть роботизированный сборщик, который получает доступ к дискам из стойки, которая вмещает 24 магазина, с 36 картриджами на магазин и 12 дисками на картридж. Как только они исправят ошибки и доработали функции, я ожидаю, что чейнджер Blu-ray на 10 000 дисков станет частью Open Compute Project.

2

Я думаю, что оригинальный пост FB немного вводит в заблуждение. Если они используют блейды хранения, они предназначены для подключения к внешним массивам хранения. Например, на самом блейде будет работать Windows Storage Server, но вы не будете хранить данные на этом блейде. Вы бы подключили массив 2U SAN к этому блейду, и этот массив мог бы содержать 12 отсеков горячей замены на 3,5 "или 24 отсека на 2,5".

1

Я работаю с видео, и поскольку не было накопителей 1 ТБ и более 3 лет назад, я искал решение, подобное вашему. Вы должны иметь внутренний или внешний RAID-контроллер для того, что вы хотите. Я нашел одну компанию, которая занимается такими вещами, и это (по крайней мере для меня) своего рода рай для создания ОГРОМНЫХ систем хранения по приемлемой цене.

http://www.addonics.com/

Например:

http://www.addonics.com/products/raid_system/rack_overview.asp

0

Посмотрите на серверы 1U, 2U, 3U, 4U, которые помещаются в стойку в серверной комнате.

как те, http://www.supermicro.com/products/system/2U/

Вы можете посмотреть на Dell, HP, серверы IBM и многое другое.

Они могут поддерживать около 8 жестких дисков, еще немного.

0

Подключить 12+ дисков к машине несложно - вы получаете raid-контроллер с 12+ SATA-портами на нем, или вы используете расширители SATA или raid-контроллер SAS.

Трудность заключается в физической установке 12 3,5-дюймовых дисков в 2U; Я не уверен, что вы можете повернуть 3,5-дюймовый накопитель вертикально только с 2U, и вы не собираетесь устанавливать 12 накопителей в 2U без того, чтобы делать это или хоронить некоторые диски в коробке (делая их не удаляемыми в горячем режиме).

0

Как уже упоминалось, существует множество различных вариантов установки 12-ти дисковых накопителей емкостью 1 ТБ в 2U. В то время как 3,5-дюймовые накопители должны находиться в горизонтальном положении, чтобы поместиться в этом пространстве, 2,5-дюймовые накопители, такие как Western Digital Scorpio Blue WD10TPVT , поместятся в 2U по вертикали. Вы можете получить шасси на базе Supermicro S216 для подключения до 24 2,5-дюймовых дисков в 2U, а также двух 12-портовых контроллеров SATA-рейдов (например, 3ware 9550SXU-12) для их подключения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками .