Какой самый безопасный и наименее дорогой способ хранения 10 терабайт данных?

Question

Я являюсь членом производственной компании, и мы готовимся к нашему первому художественному фильму. Мы обсуждали методы хранения данных, чтобы сохранить весь наш оригинальный контент в безопасности (как можно дольше). Хотя мы понимаем, что данные никогда не бывают безопасными на 100%, мы бы хотели найти для нас самое безопасное решение.

Мы рассмотрели:

• NAS объемом 16 ТБ для хранения на месте

• Жесткие диски емкостью 4-5 2 ТБ (дешевые, но не избыточные), скопируйте исходные материалы на диски и запечатайте их в свободную статическую сумку

• Запись данных на диски Blu-Ray (отнимает много времени и средств: 200 дисков = $ 5000)

• Ленточный накопитель (и)?

Я знаю меньше всего о ленточных накопителях, за исключением того факта, что они более надежны, чем диски. Любой опыт / знания с таким количеством данных очень ценятся.

Answer 1

Это предполагает, что вы собираетесь использовать архив, а не обычное резервное копирование или оперативные данные.

Пойдите для набора жестких дисков SATA (1 или 2 ТБ), плюс несколько дополнений. Скопируйте ваши данные на диски. Используйте QuickPar (или архиватор, который поддерживает тома четности) для создания дополнительных файлов четности. Распределите файлы четности среди ваших жестких дисков.

Информация о четности позволит вам восстановить файлы, если у вас осталось достаточно файлов четности. Таким образом, если один диск умирает, но другие диски с информацией о четности все еще работают, вы можете использовать файлы четности для восстановления оригинала.

Для большей избыточности сделайте все это дважды и храните в разных местах.

Если вы действительно параноик, храните контроллер PCI и PCI Express для SATA на каждом сайте!

Редактировать: Черт возьми, если паранойя - это то, о чем идет речь, иди на всю свинью и храни ПК с гигабитным Ethernet на каждом сайте, способном читать диски!

Answer 2

Диски LTO4, которые мы используем, могут вмещать 800 ГБ на ленту. Недостатком является стоимость самих дисков. Если вы отказались от 5 000 долларов за диски Blu-Ray, вам не понравится стоимость LTO4. С другой стороны, сами каретки довольно дешевы в расчете на ГБ, поэтому вы можете хранить много копий. Эти ленты имеют хороший срок годности, но вам нужно планировать переместить их на новый носитель после замены ленточного накопителя. Из того, как вы описываете, как вы собираетесь использовать это хранилище, я не думаю, что лента подходит. Нет, если только это не решение для резервного копирования, а не решение для архивирования. Разные проблемы.

Возможно, вы захотите подумать о каком-либо поставщике облачных резервных копий для этого, если ваши ежедневные изменения в сети достаточно малы. Конечно, это зависит от того, насколько мощным является ваше интернет-соединение, и восстановление из него может быть столь же болезненным. Эти сервисы довольно новы, поэтому неизвестно, как они решают проблему банкротства ваших данных; что будет с ним, если они обанкротятся?

Локальное дисковое хранилище - определенно способ. Корпус дисков с легко заменяемыми дисками - это, вероятно, ваш лучший выбор, учитывая ваши ограничения по стоимости. Если вы можете жить с этими данными в автономном режиме, а затем пойти на это. Диски дешевы, а дисководы дешевле ленточных накопителей. Меньше движущихся частей.

---

Я предполагаю, что вам нужно это для архива, а не для активного использования в роли видео. Если это так, это другая проблема хранения.

Answer 3

В своих исследованиях NAS вы рассматривали устройства с автономным управлением DroboPro или DroboElite ?

Подумайте, сколько будет стоить, если вы потеряете часть / весь материал и бюджет соответственно;)

Answer 4

Я бы порекомендовал иметь какой-нибудь NAS/RAID для живых файлов, с которыми вы часто работаете. Если вы собираетесь использовать диски большой емкости, вы можете использовать RAID-6 или аналогичный, который, как горячий резерв RAID-5 +, позволяет сбить два диска до того, как ваш RAID-массив будет поврежден, но в отличие от конфигурации горячего резервирования Ваш второй дополнительный диск также будет иметь четность, так что рейду не нужно будет восстанавливать четность в случае сбоя. Поскольку диски становятся больше, существует большая вероятность сбоя диска во время восстановления, поэтому хорошо иметь как можно больше живого паритета.

В дополнение к этому, я бы рекомендовал использовать жесткие диски, такие как ленточные накопители. В наши дни можно даже купить футляры для жестких дисков (а также эти), которые позволяют вам хранить диски для архивирования. Вы можете выгружать файлы на RAID, а затем делать дополнительные архивные копии на дисках для хранения.

Некоторые компании по производству видео, такие как Pixel Corps, используют аналогичные установки.

Кроме того, я очень рекомендую хранить файлы в нескольких местах (не под одной крышей). Кроме того, обязательно следуйте мантре «если она не написана хотя бы в двух местах, вы еще не сохранили ее». Кроме того, RAID сам по себе не считается резервной копией.

Answer 5

Я предполагаю, что это в основном для автономного хранилища резервных копий: его легко создавать и восстанавливать, но он не используется в повседневных операциях.

Диски объемом 2 ТБ можно купить за 140 долларов. Итак, за 10 ТБ, 5 дисков, 700 долларов. Приблизительно 400 долларов, чтобы построить полу-маломощный сервер на базе Debian, Ubuntu или другого Linux-продукта. Если у вас есть система с несколькими сетевыми картами, вы можете связать сетевые интерфейсы вместе (потенциально, я полагаю, вам нужен управляемый коммутатор, поддерживающий транкинг), чтобы увеличить доступную пропускную способность сервера и защитить от сбоев сетевых плат. Затем вы можете открыть хранилище с помощью samba, NFS или другого метода для рабочих станций, которые должны его использовать. Для этого большого объема данных вам, вероятно, понадобится какая-то избыточность, чтобы, когда (не если) один из этих дисков кусал его, вы не обходились без данных. RAID5 не является хорошей идеей по нескольким причинам, но RAID10 отвечает всем требованиям. Поскольку сервер работает под управлением Linux, вы можете использовать mdadm для управления массивом RAID. Для этого вам нужно удвоить количество физических устройств, чтобы вы могли использовать до 10 дисков. Общая стоимость этого сервера хранения: ~ 1800 долларов плюс потраченный капитал на его создание и администрирование.

Если вы действительно любите свои данные (если это действительно важные производственные данные, вам следует!), Вы можете создать дублирующий сервер и сделать резервную копию резервной копии. Вы можете сделать это с помощью rsync crontab, который может быть ужасно медленным, с помощью решения netcat/tar pipe , которое будет быстрее, или установить raid-устройства в качестве основы устройства drbd . Поскольку хранилище дублируется на обеих машинах автоматически, вы (по сути) гарантируете резервное копирование данных. Вы можете получить даже любитель и настроить тактовую систему отказоустойчивой , чтобы гарантировать доступность тома данных.

Answer 6

Сетевое хранилище Buffalo TeraStation III 8 ТБ - £ 1 085,56

ссылка amazon.co.uk

Я получил версию terastation 1 ТБ, которую я обновил до 4 ТБ, она работает безупречно в RAID5 для меня. Вы можете посмотреть на покупку уменьшенной версии и обновить ее самостоятельно, чтобы сэкономить деньги, или купить несколько терастаций и т.д.

Answer 7

От восьми до десяти жестких дисков по 2 ТБ; сделать два комплекта. Хранить, как уже упоминалось, отдельно ...

Я бы держался подальше от ленты, так как она гораздо более чувствительна к условиям хранения, чем диски; Кроме того, через пять лет шансы хорошие, вы все равно сможете подключить диск SATA к чему-либо, но вы не сможете получить доступ к накопителю на магнитной ленте, который может читать ваши ленты.

Оптика была бы лучшей с точки зрения долгосрочной стабильности, но, как вы упоминаете, затраты и логистика делают их несколько непрактичными.

Answer 8

Рассматривали ли вы размещенные услуги? Я не уверен, как цена взвешивается, но вы можете рассмотреть вопрос о хостинге, который продает объемное хранилище. Может быть, AWS?

Answer 9

Джош, ты не дал понять, это рабочие данные или архивные данные. Если данные являются ценными, то нет никакой реальной разницы между резервным копированием и архивом, только там, где вы храните, т.е. в вашей рабочей системе или архивной системе. Опять же, если данные являются ценными, ваша рабочая система и система архивирования будут идентичны, если вы хотите защитить данные и соблюдать правила резервного копирования.

Архив больше относится к типу носителя, чем к тому, что хранится на нем. Архив подразумевает, что данные никогда не изменятся, т.е. записаны один раз и прочитаны много раз, что обычно называется WORM. Диски WORM, как правило, являются ленточными, но такие вещи, как RDX Quikstor и RDX Quikstation (станция RDX с 8 отсеками), имеют опцию WORM для определенных дисков, поэтому их нельзя перезаписать. Я подозреваю, что RDX Quikstation может подойти для вашего архивирования.

Помните, что система архивирования является частью плана резервного копирования. Вы никогда не должны рассматривать только одну копию каких-либо данных.

Некоторые правила резервного копирования:

3-2-1 Правило.

Три (3) копии ваших данных. Один (1) источник и две (2) резервные копии на двух разных носителях, одна (1) из которых хранится вне сайта.

Примеры: резервное копирование локального сервера на локальное NAS и резервное копирование на локальный сервер или RDX. Резервное копирование локального сервера на локальное NAS и резервное копирование на удаленное NAS. Резервное копирование локального сервера на локальное NAS и репликация в реальном времени на удаленное NAS. Ваша резервная копия должна быть на диске.

Средства массовой информации:

Ваша внешняя резервная копия зависит от времени. Резервное копирование вне сети на портативные носители автоматически приводит к задержкам. то есть ночное резервное копирование в понедельник будет удалено во вторник вечером. Если у вас случится катастрофа до закрытия рабочего вторника, вы потеряете два дня. То, сколько вы можете позволить себе потерять, полностью зависит от вашего бизнеса и частоты изменения данных.

Медиа хранилище:

Полностью соблюдайте правила хранения носителей. Некоторые ленты требуют, чтобы вы хранили их вертикально между узкими диапазонами температуры и влажности, вдали от источников магнитных полей. Отбрасывание ленты снизит ее надежность. Отправка записей домой с офисной девушкой в сумочке рядом с ее мобильным телефоном - это катастрофа, ожидающая своего часа. Ленты также требуют до двух часов работы в среде резервного копирования перед их вставкой в дисковод, чтобы выровнять температуру и влажность между лентой и стримером. Ленты также необходимо выбрасывать и заменять через требуемые интервалы времени / записи.

Лично по этим причинам я не люблю ленту. Стоимость не маленькая и не стоимость того, чтобы кто-то управлял ею. Инвестировать в ленту, но не следовать правилам, бессмысленно. Вы можете сделать это по дешевке, но надежность падает.

Устранить отдельные точки отказа:

Не распространяйте резервные данные на несколько носителей. Например, полное резервное копирование на одной ленте и дифференциация на 6 других лент увеличили ваш риск потери данных в 7 раз. Если у меня есть резервная копия, мне нравится, чтобы она содержала все файлы, необходимые для восстановления данных. Лучше иметь 7 полных резервных копий.

В некотором смысле, рейд считается несколькими СМИ. Где бы вы ни использовали RAID, убедитесь, что у него есть функция автоматического переключения при горячей замене. Имейте по крайней мере один запасной диск в отсеке для дисков в качестве выделенного запасного устройства для горячей замены, и системы автоматически заменят неисправный накопитель запасным устройством для горячей замены. Если у вас есть терабайты данных, подумайте о наличии двух или более резервных копий в режиме RAID.

Соблюдайте дистанции за пределами площадки:

Ваше удаленное расстояние важно. Бессмысленное резервное копирование не имеет смысла, если в некоторых случаях оно защищает от потери данных. Любой, кто пережил землетрясение, наводнение, торнадо, ураган и т.д., скажет вам это. Недавние землетрясения в нашем городе привели к тому, что многие крупные компании потерпели крах, не создавая резервных копий за пределами площадки (ленты все еще рядом с серверами) или нечитаемых резервных копий. Обычно 60 миль / 90 км - это хорошее расстояние.

Я не знаю ваш бюджет, поэтому давать советы сложно. Бюджет влияет на выбор резервного копирования и хранилища. Я работал на кинопродюсера, обеспечивающего ИТ-поддержку, поэтому у меня есть некоторое представление о движущихся частях вашей отрасли. Есть много вопросов без ответов:

Какие серверы у вас есть, если есть? Сколько у вас сотрудников? Это ваш единственный художественный фильм? Какой размер самого большого файла или набора файлов? Сколько времени между этим фильмом и следующим? Например, если вы работаете на полную ставку, у вас есть денежный поток для покрытия ежемесячных расходов, таких как удаленное резервное копирование по оптоволокну. Какого рода денежный поток будет генерировать фильм? Какие требования у вас есть для продвижения вперед? Эти и другие вопросы определяют ваши требования, методологию и бюджет.

Например: если вы производите 3 полнометражных фильма в год и каждый месяц рекламируете с использованием дюжины сотрудников, вы можете себе позволить: Серверы с RAID-массивом резервируются на RAID NAS на месте. Выделенная волоконно-оптическая линия (не такая дорогая) с неконтролируемой (не ограниченной ISP) 100-битной линией связи, реплицированная в центр обработки данных на расстоянии 60 м /90 тыс. Важные архивные данные должны быть записаны на ленту или RDX и сохранены в центре обработки данных или хранилище ленты. Бюджет является вашим единственным определяющим фактором в отношении степени резервирования и резервного копирования, которые вы можете себе позволить.

Или, если бюджет небольшой, доход от продаж и будущее неизвестно, возможно, вы рассматриваете накопители TAPE, RDX или USB (не рекомендуется), хранящиеся дома.

Настоящие и будущие требования, денежный поток и бюджет, взвешенные с потерей данных, являются вашими определяющими факторами. Я предлагаю вам нанять опытного специалиста по резервному копированию и / или бизнес-аналитика для прохождения процесса хранения и резервного копирования для вас.

Answer 10

Если вы действительно хотите удостовериться, что не потеряете его, вам нужны как минимум два варианта архивирования. Вероятно, лента и жесткие диски. Создание только одной копии без какой-либо формы избыточности - это просто еще один способ бросать кубики данных.

Answer 11

В зависимости от потребностей в хранении, если вы хотите выполнить резервное копирование отдельных рабочих станций, посмотрите на внешнюю док-станцию Thermaltake BlacX для съемных дисков SATA. Они поддерживают как внешние USB, так и SATA соединения. Просто поместите диск в док-станцию, скопируйте данные и получите резервную копию.

У меня дома доки и работа. Я делаю резервные копии в каждом месте и доставляю их в другое место для хранения вне сайта. У меня также есть скретч-диск для перемещения текущей работы между локациями.

Доки стоят около $ 60,00 каждая, и вы можете получить 1,5 ТБ дисков менее чем за $ 100.

Answer 12

Я не очень разбираюсь в ленточных накопителях и в семантике хранения данных на ленте, поэтому не могу вам помочь. Учитывая непомерную стоимость использования bluray в качестве массового резервного копирования, я бы остановился на NAS или отдельных дисках.

С NAS/Raid следует опасаться, что, несмотря на то, что они могут хранить значительный объем информации в одном виртуальном диске ... вы должны хранить все диски вместе, а RAID, как правило, не очень хорош в долгосрочной перспективе ». Резервное копирование Вы рискуете потерять более одного диска, потерять само устройство NAS (и редко гарантируется, что заменяющее устройство сможет считывать данные с дисков, даже если это "идентичное" устройство).

Учитывая, насколько радикально дешевые жесткие диски в наши дни и их общую стабильность, я бы выбрал отдельные диски. Вы можете легко получить 10 жестких дисков емкостью 2 ТБ за небольшую плату (возможно, от 1200 до 1500 долларов США) и создать два набора резервных копий. Вы получаете как резервное копирование данных в автономном режиме, так и резервирование без риска, связанного с RAID или устройством NAS. Отдельные накопители также предлагают более широкий диапазон совместимости, поскольку SATA вряд ли появится где-либо в ближайшее время.