Краткий ответ: да.
Причина в том, что вместо туннелирования напрямую с компьютера A на компьютер D вы перепрыгиваете через B и C. Каждый компьютер имеет собственную задержку и запущенную службу, которая должна выполнять надлежащие процессы для расшифровки входящего трафика с одного конца и повторного шифрования трафика, выходящего с другого конца.
Сколько будет замедляться, зависит от скорости и подключения каждого компьютера в цепочке, но если SSH с компьютера A на компьютер D без предварительного прохождения через B и C невозможно, то это цена, которую вы должны заплатить, если вы не посмотрите на реструктуризацию вашей сети в некотором роде.