Вы можете сделать это, только если ваша видеокарта поддерживает это, что почти во всех случаях не будет.
Большинство видеокарт рассчитаны на одновременную работу только с одной ОС. Таким образом, вы можете отдать карту хост-ОС (и тогда ее может использовать только хост-ОС). Или вы можете (с помощью IOMMU) отдать всю графическую карту исключительно одной ВМ, а затем эта ВМ может использовать ее, но хост-ОС не может и не может использовать любую другую ВМ. Если бы вы могли как-то попытаться передать карту нескольким виртуальным машинам одновременно, ни одна из них не работала бы должным образом, потому что гостевые ОС одновременно пытались бы общаться с картой. С точки зрения единственной гостевой ОС, это было бы так, как если бы видеокарта постоянно таинственным образом делала вещи, о которых вы не просили.
Исключением из всего этого является то, что видеокарта явно поддерживает аппаратную виртуализацию, так что она может представлять несколько разных представлений о себе каждой виртуальной машине, и каждая виртуальная машина думает, что видит полную графическую карту своей собственной. Например, в этом пресс-релизе AMD описывается набор графических карт, которые имеют эту функцию и могут отображать ускорение графического процессора для нескольких виртуальных машин одновременно.