Смотрите опцию Compression (-C) в man 1 ssh. Это может помочь в ваших обстоятельствах.
Лучшим вопросом будет «Какова задержка прохождения сигнала в моем соединении?», Который вы можете определить, посмотрев на время прохождения сигнала туда и обратно (RTT) через ping. Внимательно изучите параметры -s, -M и -U (см. Man 8 ping), чтобы вы могли настроить ваши пакеты, чтобы увидеть, является ли проблема отброшенными пакетами или каким-либо другим аспектом вашего сетевого подключения.
Несомненно, расстояние может играть определенную роль в некоторых типах сетей (например, DSL или спутниковых), но оно имеет гораздо большее отношение к типу сети, перегруженности сети и другим факторам, которые вы не упомянули в своем посте.
Наконец, не сбрасывайте со счетов проблемы с сервером или хостом. Попробуйте протестировать ваше соединение с различными серверами, чтобы увидеть, есть ли у вас проблема, ограниченная одним хостом, или проблема более общая.