Подходит ли Amazon Glacier для архивирования цифрового мультимедийного контента?

Question

Справочная информация: команда по производству контента снимает и записывает контент в форматах цифрового медиа. Это может быть смесь необработанных видеороликов, конвертированных видео и изображений.

Этот контент хранится в общей папке (Linux Samba). Это хранилище объемом 21 ТБ, которое используется почти полностью. Я бы предпочел, чтобы команда разработчиков контента реорганизовала и очистила данные. Не обращая внимания на необходимость дисциплины, меня просят просто архивировать. Это имеет смысл - с годами, дисковое пространство будет тонким, независимо от того, сколько дисциплины поддерживается.

Мы провели архивирование с использованием накопителей на магнитной ленте под старшим руководством. Новое руководство прекратило этот процесс. Они рекомендовали архивировать старый контент на Amazon Glacier.

Теперь размер контента в архиве может составлять около 2 ТБ. Там может быть необходимо вытащить старый контент. Как часто?- Мы не знаем, как сейчас.

Независимо от того, какую пропускную способность может предложить Amazon, провод, который я имею, может работать со скоростью до 40 Мбит / с. Более того, меня просят ограничить скорость одним способом, чтобы другие пользователи, подключенные к тому же Интернет-соединению, не влияли на передачу.

Какие соображения я должен принять во внимание, чтобы прийти к пониманию того, соответствует ли Glacier требованиям такой задачи.

Кроме того, есть ли инструмент командной строки BASH, который может отправить 2 архива Tb+ в Хранилище Ледника?

Answer 1

Glacier разработан и оценен для данных, которые, как вы ожидаете, вам не понадобятся.

Glacier разработан с расчетом на то, что поиск будет редким и необычным, и данные будут храниться в течение длительных периодов времени.

https://aws.amazon.com/glacier/pricing/

В настоящий момент у меня там хранится несколько десятков терабайт, и я настоятельно рекомендую это - где это уместно - поэтому мои наблюдения не должны восприниматься как негативные, а лишь подчеркивают, что вы должны быть уверены, что понимаете продукт и его предназначение. приложение.

Родной интерфейс Glacier очень низкого уровня. Он ведет себя как резервная лента или большой тарбол. Вы помещаете "архив" в "хранилище", и это своего рода черный ящик. Вы должны вести записи о том, что вы поместили в каждый архив, потому что Glacier не может вам сказать, так же, как физическое рассмотрение резервной ленты не может сказать вам.

Альтернативный - и я бы сказал - гораздо лучший способ использования Glacier - через S3. Загрузите ваши файлы в корзину S3 и установите политику жизненного цикла корзины, чтобы архивировать файлы в Glacier через несколько дней. В этой модели S3 скрывает сложность необработанного API Glacier, а отдельные файлы и их метаданные остаются видимыми через консоль S3 и API. Стоимость такая же.

Поймите, однако, что с Glacier (через S3 или нет) вы платите за восстановление более чем небольшого количества данных за один раз.

Сократите числа, и вы обнаружите, что бесплатное пособие на восстановление потенциально дорого, пока у вас не будет сохранено много данных.

Скажем, у меня хранится 180 ТБ /180000 ГБ. Я могу восстановить только 50 ГБ в любом 4-часовом окне, если я не хочу платить дополнительные сборы за поиск данных.

180000 × 0.05 ÷ 30 ÷ 6 = 50

180000 ГБ, 5% ежемесячного пособия, 30 дней / нет, 6 периодов по 4 часа в каждый день. Это прекрасно работает для меня, так как мои файлы обычно <20 ГБ, и очень редко они мне нужны. Когда я это делаю, это обычно для исследований, которые не являются неотложными, чтобы я мог распространить восстановление. При меньшем общем объеме памяти, скажем, 18 ТБ, мое бесплатное восстановление будет составлять 5 ГБ каждые 4 часа. Итак, как я уже сказал, тщательно продумайте модель восстановления цены.

Возможно, лучше подойдет сравнительно новый класс хранения "Нечастый доступ", предлагаемый S3. $ 0,0125/ ГБ / мес все еще довольно разумны, и, хотя за загрузку взимается $ 0,01 / ГБ, нет резкого увеличения стоимости, если вам нужно восстановить много данных, и нет 4-часового времени ожидания, как для Glacier восстанавливает.

https://aws.amazon.com/blogs/aws/aws-storage-update-new-lower-cost-s3-storage-option-glacier-price-reduction/

Answer 2

Я бы начал с этого сначала, чтобы получить оценку того, какова будет ваша цена. Базовая ставка составляет 0,007 долл. США / гб / месяц без учета комиссии за перевод.

Затем посмотрите, как вы получаете свои данные от Glacier. Запросы на работу могут занять несколько часов, а затем данные доступны только в течение определенного времени.

FAQ по леднику AWS

Вот то, что я нашел, когда искал "ледниковый удар данных".

Пример скрипта для загрузки в Glacier/S3

Я использую S3 для резервного копирования моего клиента (более 100). Я посмотрел на ледник, так как он был дешевле, но время для поиска данных мне не удавалось. Если на одном из моих сайтов возникла проблема, и мне нужно получить файл с S3, он мне нужен сейчас, а не через 4 часа.