CPU и GPU нельзя использовать взаимозаменяемо. Они специально разработаны, чтобы быть хорошими в одних видах вычислений и плохими в других. (потому что построить единый процессор, который хорош во всем, невозможно)
Подумайте об этом: если CPU и GPU могут выполнять одну и ту же работу, зачем вообще существуют GPU? Почему бы не выполнить все вычисления на процессоре?
Графические процессоры - вещь, потому что процессоры плохо обрабатывают графику. Изначально они вообще не были способны выполнять вычисления общего назначения, это относительно новая идея.
Напомним, что в общем случае вы не можете перенести какую-то работу из CPU в GPU или другим способом. Программа должна быть специально разработана, чтобы быть в состоянии сделать это. По сути, алгоритм должен быть реализован отдельно для CPU и GPU, потому что они работают совершенно по-разному (CPU - SISD, GPU - SIMD).
Это могут делать некоторые программы, в частности, программное обеспечение для обработки видео. Есть также игры, которые позволят вам выбрать, будет ли физика рассчитываться по процессору или с использованием оборудования PhysX на видеокарте. Если это явно не разрешено программным обеспечением, невозможно выбрать, какое устройство будет выполнять вычисления.