Как я могу загрузить копию общедоступного набора данных S3?

Question

я наивно предполагал, что могу сделать что-то вроде

s3cmd sync s3://snap-d203feb5 /var/tmp/copy

но у меня, похоже, неправильное представление о том, как это сделать. Я не могу даже заставить простую вещь работать;

vnix$ s3cmd ls s3://snap-d203feb5
Bucket 'snap-d203feb5':
ERROR: Bucket 'snap-d203feb5' does not exist

Я предполагаю, что у меня есть идентификатор не для "корзины", а для "общедоступного набора данных". Как мне перейти от одного к другому? Нужно ли мне запускать экземпляр EC2 и создавать для этого ведро? Как? Инструкции на http://docs.amazonwebservices.com/AWSEC2/latest/UserGuide/using-public-data-sets.html, похоже, предполагают, что я хочу использовать данные в экземпляре EC2, но в этом случае я бы так же, как просматривать немного, по крайней мере, для начала.

Кстати, копирование / вставка "US Snapshot ID" вызывает неприятную трассировку от Python; они публикуют идентификатор со странной чертой Unicode (я полагаю), которую нельзя напрямую скопировать / вставить. Есть ли ошибка при копировании? И каково значение "США" там? Я не могу использовать данные за пределами Северной Америки?

Answer 1

Общедоступные наборы данных не размещаются на Amazon S3 как таковые, скорее они предоставляются в виде моментальных снимков Amazon Elastic Block Store (EBS) . Хотя они на самом деле хранятся в S3, получить прямой доступ к такому снимку невозможно, скорее вам нужно создать новый том EBS на нем и подключить его к экземпляру Amazon EC2 для дальнейшей обработки на ваше усмотрение.

Разумеется, простой просмотр набора данных является разумным вариантом использования, к сожалению, в настоящее время вы не можете избежать использования экземпляра EC2 и тома EBS - смотрите раздел « Как это работает» для получения подробной информации:

Отдельные общедоступные наборы данных размещаются на Amazon EC2 бесплатно в виде моментальных снимков Amazon Elastic Block Store (Amazon EBS). Клиенты Amazon EC2 могут получить доступ к этим данным, создав собственные личные тома Amazon EBS, используя в качестве отправной точки снимки общедоступных наборов данных. Затем они могут получать доступ, изменять и выполнять вычисления на этих томах напрямую, используя свои экземпляры Amazon EC2 [...]

Чтобы начать использовать общедоступные наборы данных в AWS, просто выполните следующие три простых шага:

1. Зарегистрируйте учетную запись Amazon EC2.
2. Запустите экземпляр Amazon EC2.
3. Создайте том Amazon EBS с помощью идентификатора моментального снимка, указанного в каталоге выше для выбранного снимка.

Как эти шаги выполняются подробно, объясняется в документации, которую вы уже связали, например, запуск экземпляра и создание тома общедоступного набора данных.

Как только вы сделаете это доступным, вы, конечно же, можете хранить набор данных в своем S3-хранилище.