В сущности, ядро, предоставляемое вашим дистрибутивом, вероятно, является лучшим для почти всех. Практически каждый дистрибутив выполняет компиляцию всех параметров в виде модулей и динамическую загрузку модулей по мере необходимости.
Это хорошее упражнение, особенно если вы заинтересованы в изучении ядра, но с точки зрения повседневной работы выигрыши в производительности на настольном компьютере или рабочей станции будут незначительными или даже не будут существовать, даже с лучшими оптимизациями времени компиляции для ваш конкретный процессор.
Если вы делаете это для образования больше, чем для производительности, то я предлагаю вам попробовать собрать как можно больше разных способов. Скомпилируйте все как модули, затем скомпилируйте все статично (и посмотрите, насколько велико ваше ядро), затем попробуйте скомпилировать минимальное ядро, сохраняя при этом все ваше оборудование работающим. Попробуйте некоторые экспериментальные функции (возможно, на ВМ, хотя ;-)). Веселитесь с этим.