Я работаю в кинопроизводстве и мне нужен ОЧЕНЬ быстрый доступ к очень большим необработанным видеоматериалам. В настоящее время я использую док-станции eSATA 6 Гбит / с для внутренних жестких дисков, которые работают так же быстро, как и диск.
Если бы я использовал сервер и подключился к своим рабочим станциям через сеть, какая (относительно доступная) технология позволила бы мне приблизиться к скорости диска или превысить ее?
Здесь, в начале 2017 года, судя по информации, легко доступной в Интернете, максимальная скорость жестких дисков SATA составляет около 220 мегабайт / с, что составляет 1,760 гигабит / с.
Так что, если вы просто пытаетесь превзойти скорость одного диска и ограничены жесткими дисками для оценки стоимости терабайта для больших видеофайлов, тогда 10 Gigabit Ethernet - это достаточно.
Кроме того, обратите внимание, что сеть Thunderbolt Networking также имеет скорость 10 Гбит / с, поэтому, если у вас уже есть порты Thunderbolt, вы можете поэкспериментировать с этим. Возможно, он может превзойти ваши 6-гигабитные порты eSATA 3, хотя я не уверен в этом, потому что eSATA очень специфичен для хранилища, в то время как хранение через Ethernet требует больше ресурсов. Также обратите внимание, что Thunderbolt - это настольный автобус; он достигает всего нескольких метров, а не 100 метров, которые может выдержать 10-гигабитный Ethernet. Таким образом, хотя Thunderbolt может быть интересен для экспериментов и создания прототипов, пока вы взвешиваете свои варианты, это, вероятно, не является правильным долгосрочным решением для вас, если вы не хотите, чтобы все ваши рабочие станции и диски были соединены вплотную за большим столом.
Так что это было для одиночных жестких дисков. Но если вы объедините эти диски вместе, чтобы каждое чтение или запись распределялось по нескольким дискам, вы можете получить гораздо лучшую производительность, чем производительность одного диска. Кроме того, в зависимости от вашего бюджета, вы можете поместить PCIe/M.2 NVME SSD в ПК для работы в качестве сервера /NAS, и вы можете получить невероятно высокую производительность хранения (около 3,4 гигабайта / сек == 27 гигабит / сек) в секунду. привод.
В этом случае вы, возможно, захотите взглянуть на что-то более быстрое, чем 10-гигабитный Ethernet, но если взглянуть онлайн, то похоже, что цены значительно превысят 10-гигабитный Ethernet. Так что вы можете захотеть взглянуть на агрегацию ссылок по нескольким 10-гигабитным ссылкам. Я также видел в Интернете некоторые анекдоты о том, что использованное сетевое оборудование, такое как использованный контент InfiniBand 40 Гбит / с, можно купить на eBay по очень низкой цене, если вы не возражаете против хлопот, связанных с покупкой использованного оборудования на eBay.
Если вы будете использовать диски SATA, реализация 10 Гбит Ethernet и создание разумного размера RAID10 на сервере принесет вам заметное увеличение производительности по сравнению с одним диском SATA. Это будет достойным капиталовложением, поскольку вы можете разделить сервер с любым количеством рабочих станций и добавить его в будущем, добавив коммутаторы. Вам нужно будет использовать сетевой кабель Cat-6, так как Cat-5E его не обрежет - не забудьте добавить эти расходы в свои расчеты. Вы также можете добавить SSD в качестве кеша, чтобы ускорить работу системы; так как вы работаете с видеоматериалами, я предполагаю, что вам нужно огромное количество места для хранения, которое было бы чрезвычайно дорого создавать исключительно с помощью SSD.
Вы можете купить готовый сервер для монтажа в стойку у Dell или HP и использовать аппаратную карту RAID, или, если вы более склонны к аппаратным средствам, вы можете купить более дешевое шасси у Supermicro и собрать машину для хранения самостоятельно, используя программный RAID в либо Windows, либо Linux. Аппаратный RAID часто быстрее, когда задействован RAID1, так как программное обеспечение должно записывать на каждый диск по очереди и ждать завершения записи, прежде чем перейти к следующей операции; Карта RAID обычно может выполнять запись на оба диска параллельно и кэшировать операцию записи, немедленно возвращая управление ОС. Однако обратите внимание, что хотя RAID0 будет еще быстрее, у вас нет избыточности, и отказ одного диска приведет к полной потере данных; никогда не используйте RAID0, если у вас есть данные, которые вы хотите сохранить. Я рекомендую связаться с Dell, HP или другим крупным именем, чтобы узнать, могут ли они помочь вам определить систему, отвечающую вашим потребностям.
На верхнем уровне масштаба у вас есть сети хранения данных (SAN), но они предназначены для параллельной работы множества операций от большого числа отдельных клиентов; Преимущество этого состоит в том, что пропускная способность очень мала для небольшого числа подключенных машин, но, вероятно, излишня для ваших нужд и очень дорогая. На нижнем уровне у вас есть устройства Network Attached Storage (NAS), о которых упоминали другие, но, хотя они намного проще, чем полноценный сервер, я не рекомендую их, поскольку NAS часто является черным ящиком; они предназначены для большинства пользователей по принципу «подключи и работай», и в результате у вас мало контроля над ОС - мне просто пришлось отослать небольшой NAS, который я купил для офиса клиента, поскольку он стал нестабильным после рабочего дня.
Другим преимуществом построения сервера является то, что вы концентрируете все свои материалы в одном месте, что делает его практичным и относительно простым для регулярного резервного копирования. Никогда не пренебрегайте своей стратегией резервного копирования; однажды вам нужно будет зависеть от этого!
Ничто не сравнится с гибкостью и простотой настройки 10gbe, но SAS на удивление способен работать в сети самостоятельно:
Для небольшого числа рабочих станций (n <8), где тома не нужно записывать с нескольких компьютеров одновременно, SAS отлично работает. С Tyan JBOD (1500 долларов США) и LSI HBA (400 долларов США) мы получаем 3400 МБ / с (27 Гбит / с) устойчивых передач в SSD. JBOD имеет внутренний коммутатор с 3 восходящими каналами к HBA, но коммутаторы SAS доступны для большего количества портов.
Вот тест скорости одного из наших томов:
Внутренне мы используем это решение с кластеризованным Windows Server, на котором работают дисковые пространства , которые распределяются по клиентам с 10gbe.
Во-первых, SSD M.2 с правильной материнской платой может достигать 2–4 Гбит / с и, возможно, выше. RAID несколько из них вместе, и ваши скорости еще выше.
Объединение нескольких сетевых адаптеров по 10 ГБ может приблизить вас к родной скорости.
Что-нибудь больше чем 10 г - намного больше денег.
Используйте оптоволоконную карту Ethernet с оптоволоконным коммутатором, в идеале многомодовый или одномодовый с пэдами. Если у вас есть бюджет, вы можете сделать все это 10 Гбит / с, если вы используете агрегацию каналов с двухпортовой оптоволоконной картой, вы можете получить 20 Гбит / с. Поскольку термин "относительно доступный" меняется в зависимости от того, какой у вас бюджет, было бы полезно узнать фактические данные о том, что вы готовы потратить.
Самый дешевый способ - использовать агрегацию каналов (IE запускает N кабелей, обычно 2) вместо одного.
Таким образом, дешевая 1Gb ссылка станет 2Gb ссылкой.
Очевидно, это означает, что вам нужно как минимум 4 порта для одного клиентского сервера.
