Я только что попробовал использовать s3tools (s3cmd-1.5.0-rc1). Получил этот совет из их FAQ http://s3tools.org/kb/item13.htm. Увидеть ниже.
Поддерживает ли s3cmd многочастную загрузку?
Да, последняя версия s3cmd поддерживает многоэтапную загрузку Amazon S3.
Составные загрузки автоматически используются, когда размер файла для загрузки превышает 15 МБ. В этом случае файл разбивается на несколько частей, каждая из которых имеет размер 15 МБ (последняя часть может быть меньше). Каждая часть затем загружается отдельно и затем восстанавливается в месте назначения, когда передача завершена.
С помощью этой новой функции, если загрузка части не удалась, ее можно перезапустить, не затрагивая другие загруженные части.
В s3cmd есть две опции, связанные с многочастной загрузкой. Они есть:
--disable-многочастному
Отключить многочастную загрузку для всех файлов
а также
--multipart-размер куска-MB = РАЗМЕР
Размер каждого куска многочастной загрузки. Файлы, размер которых больше, чем SIZE, автоматически загружаются как многопоточные, а файлы меньшего размера загружаются традиционным способом. Размер в мегабайтах, размер чанка по умолчанию 15 МБ, минимально допустимый размер чанка 5 МБ, максимум 5 ГБ.
Поэтому, когда я загружаю, я выбираю наименьший размер куска. Вы должны увидеть разделение и возобновление загрузки ниже.
$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/
some_video.mp4 -> s3://some_bucket/some_video.mp4 [part 1 of 52, 5MB]
5242880 of 5242880 100% in 164s 31.08 kB/s done
some_video.mp4 -> s3://some_bucket/some_video.mp4 [part 2 of 52, 5MB]
5242880 of 5242880 100% in 193s 26.46 kB/s done
some_video.mp4 -> s3://some_bucket/some_video.mp4 [part 3 of 52, 5MB]
2023424 of 5242880 38% in 135s 14.59 kB/s^CERROR:
some_video.mp4' part 3 failed. Use
/usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!
Затем я возобновляю.
/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/
