Есть несколько вещей, которые могут быть в игре:
На "Сервере"
Вы проверили, что открытый ключ находится в ~/.ssh/authorized_keys
и ~/.ssh/authorized_keys2
vagrant
пользователя?
Простой способ добавить:
cat id_aribtratry_name.pub >> ~/.ssh/authorized_keys{,2}
(Расширение оболочки должно выполнять оба действия, но может также проверять файлы дважды).
На хосте
Ничто из вышесказанного не говорит мне о том, что вы использовали Puttygen для получения ключа для Putty, также вы можете настроить putty, чтобы пропустить вопрос о других вещах.
Использование Puttygen
Откройте Puttygen: Файл> Загрузить закрытый ключ (во всплывающем диалоговом окне вам нужно будет выбрать "Все файлы"), чтобы загрузить свой ключ.

Оставьте все как есть и нажмите "Сохранить закрытый ключ"

Вам будет предложено подтвердить, что вы не хотите пароль, я оставлю эту возможность на ваше усмотрение. Локально, на самом деле не проблема. Но сервер онлайн - я бы предложил.
Сохраните его везде как id_whatever.ppk
Установите Putty (экономит ваше время позже)
Введите IP и порт (как вы делали)

Слева перейдите в "Соединение"> "SSH"> "Auth", найдите файл с закрытым ключом в диалоговом окне "Обзор".

Вернитесь обратно в Connection> Data, укажите свое имя пользователя для автоматического входа

Наконец, вернитесь к сеансу, и вы можете указать имя для сохранения сеанса.

После всего этого вы сможете войти в систему. То есть, если IP правильный. Чтобы избежать путаницы, я лично использовал бы фактический IP-адрес машины. Но если LO работает через другой порт, это нормально.