ssh-add подключиться к запущенному агенту через доменные сокеты Unix. Переменная окружения SSH_AUTH_SOCK содержит путь к сокету. ssh-add проверяет переменную и подключается к агенту, который доступен через сокет, а не тот, который работает локально.
Когда вы запускаете ssh на компьютере с параметром -o ForwardAgent = yes, указанная выше переменная устанавливается так, чтобы указывать на сокет, который подключен к агенту, работающему на исходном хосте.
Если вы хотите, чтобы ssh-add подключился к агенту, работающему локально, укажите указанную выше переменную на путь сокета, который прослушивается локальным агентом. вы можете получить локальный сокет agnets с помощью sudo lsof -p $(pgrep ssh-agent)
и найти файл в /tmp типа socket.