Как исправить ошибку awscli s3 «Указанный вами Content-MD5 не соответствует полученному нами» (BadDigest)?

Question

Загрузка файла размером более 10 ГБ в s3 завершается неудачно с:

aws s3 cp 'foo.log.gz' s3://mybucket/2018/12/ --storage-class REDUCED_REDUNDANCY
upload failed: ./foo.log.gz to s3://mybucket/2018/12/foo.log.gz 

An error occurred (BadDigest) when calling the UploadPart operation (reached max retries: 4): The Content-MD5 you specified did not match what we received.

Как обойти эту ошибку?

Answer 1

Частично это сработало: md5 неверно, это должно использовать sha256, установка этого помогает:

aws configure set default payload_signing_enabled = true

Второе решение
Более подробная проблема связана с:http://tracker.ceph.com/issues/20447

Еще глубже:https://github.com/ceph/ceph/pull/15965/files

TLDR
Некоторые регионы используют ТОЛЬКО "подписи v4" (как и eu-central-1), есть ошибка в подписи sha2 в awscli.

Эта проблема затрагивает только несколько загрузок. Если минимальный размер барахла больше, чем файл, ошибка в пении не является фатальной:

aws configure set  multipart_chunksize = 20GB