"Должен" - нет. Это того стоит . Несмотря на то, что порт SSH является стандартным, нет никакого реального недостатка в использовании нестандартного порта (кроме необходимости помнить, какой порт вы использовали).
Это "относительно дешевый" способ отразить самые простые попытки проникнуть в вашу систему - с помощью ботов, проверяющих SSH на стандартном порту, а затем проверяющих имена пользователей и пароли в атаках методом перебора.
Тем не менее, это, практически говоря, безопасность по неизвестности. Отключение SSH от имени пользователя root (что всегда является хорошей идеей) и настройка аутентификации на основе ключей (которая делает невозможным угадывание вашего пароля) сделают гораздо больше, но смена портов - это простой безболезненный первый шаг.