Загрузить очень много файлов на S3

Question

У меня есть около 1 миллиона изображений (организованных в каталогах), которые мне нужны, чтобы попасть в S3. Я начал использовать s3sync.rb, но поскольку он создан для синхронизации, он создает тонны дополнительных файлов для отслеживания вещей. Мне это не нужно или не нужно - просто нужно загрузить его один раз.

Затем я попробовал s3cmd (версия на python), которая имеет опцию --recursive для простого ввода. Проблема в том, что он пытается обработать все загружаемые файлы заранее (по крайней мере, так это выглядит в режиме отладки), что не работает для количества файлов, которые у меня есть.

Я подумываю попробовать что-то вроде bucket explorer или s3fox, но я боюсь тратить кучу времени и только на полпути.

Любые рекомендации, пожалуйста?

Редактировать: мне известны некоторые варианты монтирования s3, но у меня не было хорошего опыта с s3fs. Будет ли jungledisk хорошо работать с большим количеством файлов? Кроме того, эти программы, как правило, создают дополнительные файлы, которые я бы предпочел не иметь.

Answer 1

Я не пробовал эту конкретную опцию хранения, но Cyberduck поддерживает s3, имеет опцию синхронизации и, как правило, достаточно надежен для меня.

Answer 2

Не могли бы вы отправить им портативное устройство хранения данных с вашими данными на нем?

Answer 3

Вы можете попробовать запустить s3sync.rb с опциями --no --no-md5 . С этим параметром сравнивается только измененная дата.

Я использовал Jungledisk для резервного копирования довольно большого количества файлов (~ 20 КБ), и он работал очень хорошо. Хотя он создает отдельную базу данных для хранения загруженных файлов (и выполнения дедупликации). Из того, что я видел, размер резервной базы данных тривиален по сравнению с размером всех файлов, для которых было выполнено резервное копирование.

Независимо от того, как вы загружаете вещи в S3, будут "дополнительные файлы", потому что S3 не хранит каталоги, он поддерживает только ключи и узлы, поэтому информация о каталогах должна сохраняться отдельно.