Вы не можете войти, потому что вы скопировали свой открытый ключ с сервера. Безопасность SSH не работает, потому что у вас один и тот же ключ на клиенте и на сервере, а потому что у вас совпадают закрытый (на вашем клиенте) и открытый (на вашем сервере) ключи. Ваш открытый ключ немного похож на замок, который вы можете воспроизвести по желанию и открыть с помощью закрытого ключа, который у вас есть только у вас (и который вы должны хранить в максимально возможной безопасности). Люди могут украсть замок, но без ключа его бесполезно.
Поэтому вам нужно найти закрытый ключ, который вы используете для входа на сервер, и скопировать его в любую систему, которую вы хотите использовать в качестве клиента (в качестве альтернативы вы можете создать пару ключей ...). Обратите внимание, что SSH требователен к разрешениям для каталога SSH и его содержимого (не должен быть доступен для записи никому, кроме вас).