Вам необходимо настроить переадресацию портов на маршрутизаторе. Если это только для доступа, сделайте это только для порта 22 (SSH). Вы можете использовать другой публичный порт, если хотите. Вам нужен только доступ к одному серверу, и вы можете войти с этого сервера на остальные локально. Если вам действительно нужно подключиться к нескольким серверам извне, вы должны использовать разные порты для каждого из них.
Если вы боитесь атак, которые могут произойти, вы можете установить Fail2ban. Это заблокирует IP-адреса на основании неудачных попыток входа в систему. Вы можете ограничить доступ на сервере по IP-адресу. Вы можете использовать закрытые / открытые ключи для входа в SSH, или вы можете использовать что-то вроде Yubikey.