Проблема заключается в самом дистрибутиве VirtualBox, в котором сейчас отсутствуют необходимые модули.
Если вы загляните в модуль VBoxHeadless.cpp, вы увидите, что для его функционирования должны быть выполнены следующие условия:
- VBOX_FFMPEG должен быть определен
- Общая библиотека VBoxFFmpegFB должна быть доступна с точкой входа VBoxRegisterFFmpegFB
В ветке VBoxHeadless "Не удалось загрузить расширение захвата видео" с 2009 года кто-то по имени xantus попытался создать необходимые условия, изменив соответствующие источники, но это не сработало.
Я полагаю, что правильный способ сделать это - обратиться к разработчикам на форумах VirtualBox и убедить их снова заставить его работать, хотя, похоже, этот вариант был заброшен по крайней мере с 2009 года.