Утилита rsautl OpenSSL , по-видимому, не имеет настройки, в которой хэш для OAEP может быть изменен. Мои тесты показывают, что по умолчанию это просто sha1 и все.
Мой вопрос ... есть ли способ изменить хэш?
Команда, которую я использовал, чтобы проверить это:
openssl rsautl -inkey publickey.txt -encrypt -oaep -in plaintext.txt -out ciphertext.txt
rsautl который является древним, нет. pkeyutl который должен был заменить rsautl в 2010 году, да. -pkeyopt rsa_oaep_md:name или rsa_mgf1_md:name где name является хешем, как в вашем Q на PSS.
Примечание для pkeyutl (edit) до 1.1.0 порядок опций имеет значение ; вы должны сделать -encrypt затем -inkey rsaprivate затем -pkeyopt ( в настоящее время не документированы AFAICS, хотя аналогичные случаи в genpkey есть) , и вы должны сделать rsa_padding_mode:oaep перед rsa_{oaep,mgf1}_md:hash
Та же возможная проблема с режимом FIPS.