Вы можете собрать ядро для вашего конкретного оборудования, если хотите. Я думаю, что хорошим примером для иллюстрации является gentoo - вы можете запускать ядра, настроенные на ваше оборудование, или запускать genkernel.
Вы можете использовать общее ядро, которое больше, или собрать ядро для ваших нужд. Забудьте то, что не может быть загружено как модуль, и вы перестроите все ядро.
Конечно, есть модули ядра (то есть, сколько сторонних драйверов упаковано), но смысл наличия стандартного набора модулей ядра по умолчанию состоит в том, чтобы знать, что ваша система с достаточной вероятностью будет работать. Представьте, что вам нужно потратить несколько часов на сборку ядра, потому что вы забыли включить X (это случилось со мной, когда я в последний раз пытался установить gentoo)!
Однако у вас нет драйверов для всех устройств - вы часто сами устанавливаете драйверы - например, у nvidia есть отдельные драйверы вне пакетов noveau, которые есть во многих дистрибутивах (и это вне ядра), и то же самое верно для многих сетей карты. Есть также механизмы, которые просто загружают необходимые модули по мере необходимости
Если вам нужен минимальный набор драйверов для тонкого ядра, созданный в соответствии со спецификациями вашей собственной системы, сделайте это. Просто запомните, что это большая работа, и универсальное ядро, как правило, является нормальным набором компромиссов, которые разработчики дистрибутивов выбирают из-за его надежности.