Библиотеки - это просто файлы на вашем диске, они ничего не делают, пока вы не запустите программу, которая их использует. Они не будут автоматически загружаться во все программы (это было бы очень бесполезно). Поэтому просто их установка не должна влиять ни на что другое.
Однако некоторые менеджеры пакетов могут работать медленнее, если у вас установлено слишком много пакетов. Я думаю , что это устроено в Debian apt-get
все медленнее с течением времени.
Кроме того, иногда программы перетаскивают различные зависимости - в том числе сервисы, а не только библиотеки. (Например, медиаплееры могут использовать avahi-daemon или что-то в этом роде.) В некоторых дистрибутивах, таких как Debian, сервисы запускаются по умолчанию при установке (даже если они не нужны), что также может замедлить работу.
(Хотя даже это не должно замедлять общее использование. Даже если бесполезный мусор требует времени для запуска, обычно он не использует процессор при работе вхолостую.)