Я столкнулся с той же проблемой и обнаружил, что OpenGL 2.0 и выше немного сломан в VirtualBox 5.x и, насколько я знаю, до сих пор не полностью исправлен.
При наличии гостевой ОС Win7 или более ранней версии ее можно заставить работать, установив гостевые драйверы в безопасном режиме. Для Windows 8 и более поздних версий это не будет работать вообще.
На форумах VirtualBox имеется обширная ветка по этому вопросу. (Если ссылка не работает Google для "Virtualbox OpenGL 2". Должно быть одним из первых хитов.)
Благодаря этой информации и некоторым экспериментам я смог заставить OpenGl (2 и 3) работать в гостях Windows 7. (Я не могу вспомнить точные детали. Это было больше года назад, когда я последний раз играл с этим. Но эта ветка форума должна дать вам все, что вам нужно.)
Я не знаю, была ли проблема решена с текущей версией VirtualBox 6.x. У меня еще не было возможности попробовать это.