Это сделано специально и, вероятно, связано с многопоточностью и тем фактом, что все графические данные будут удалены при переключении на рабочий стол.
Когда вы возвращаетесь в игру, основной поток игры начинается мгновенно, читая клавиши, играя звуки, заставляя ваш автомобиль двигаться.
С другой стороны, графическая нить имеет много работы. Он должен настроить весь графический конвейер с нуля. Текстуры должны быть загружены, шейдерные программы должны быть скомпилированы и запущены на GPU, а различные шейдерные этапы должны быть переданы по конвейеру вместе. Это занятие займет некоторое время, самое большое время, вероятно, загружается в текстурах.
В однопоточной программе все эти настройки должны быть выполнены до того, как программа примет какие-либо нажатия клавиш, и это задержит ваше время для перехода, но в многопоточной программе эти две вещи могут происходить одновременно. Очевидно, что если один поток готов раньше другого, то вы получите такой "странный" тип поведения.
Разница между полноэкранным и оконным режимами заключается в том, что в полноэкранном режиме приложение предполагает, что оно имеет полный контроль, когда оно находится в фокусе, а когда оно не в фокусе, вы не хотите, чтобы оно "захватывало" ресурсы. Оконные режимы обычно предназначены для быстрого переключения между игрой и Windows, а не для выгрузки графических данных. Оконные режимы обычно немного медленнее, чем в полноэкранном режиме, но не имеют задержки, когда alt-tab используется для выхода из программы.