Да, как вы и предлагали, вы могли бы отправить им строку байтов (в этом контексте мы могли бы назвать это текстом запроса), чтобы они зашифровали его с помощью закрытого ключа SSL/TLS своего сервера и отправили обратно зашифрованный текст, а затем вы можете проверить его расшифровав его с помощью открытого ключа из сертификата сервера SSL/TLS.
Или вы можете сгенерировать строку байтов, зашифровать ее с помощью открытого ключа из своего сертификата сервера, отправить его им, сделать так, чтобы они расшифровали его с помощью закрытого ключа своего сервера, и попросили вернуть вам исходный открытый текст.
Обратите внимание, что относительно немногие люди знают, как делать такие вещи с помощью своего закрытого ключа SSL, поэтому не удивляйтесь, если вам придется предоставить им пошаговые инструкции по поиску их закрытого ключа и шифрованию или расшифровке вашего вызов.