... сериализовать и сохранить сертификат в файл, не подписывая его (и я имею в виду сертификат, а не CSR) ... создать неподписанный сертификат
Нет такой вещи как неподписанный сертификат. Если он не подписан, то это не сертификат.
Однако проблема в том, что если я не подпишу сертификат (с помощью X509_sign ()) перед его сериализацией, десериализация завершится неудачно с ошибками кодирования.
Я понятия не имею, какую сериализацию и десериализацию вы пробовали (код не указан).
Но по сути вы просите заморозить все структуры данных, связанные с текущим состоянием процесса подписания, прежде чем выполнять фактическую подпись, и снова разморозить их на другом компьютере, чтобы продолжить подписывание. Теоретически это должно быть возможно, поскольку можно переносить целые процессы или виртуальные машины между системами, поэтому вопрос состоит в том, как сделать замораживание минимальным.
OpenSSL не имеет явного API для этого, потому что пока не было ни одного варианта использования, который требовал бы, чтобы у него был такой API. И я не вижу реального варианта использования из вашего вопроса, потому что вы могли бы просто использовать CSR и всю информацию, необходимую для подписи, и выполнять все процессы на другом компьютере. Это больше похоже на проблему XY для меня.