Прежде всего, IOMMU - это не VT-X, AMD-V или EPT, которые являются расширениями виртуализации ЦП и технологией MMU, но используют ЦП.
Для продвинутых устройств DMA, таких как графическая карта, ваша материнская плата и процессор должны иметь поддержку IOMMU - набор аппаратного обеспечения, который управляет переводом с хоста на гостевую ОС.
Вы найдете эту технологию на платах Intel и AMD для серверных плат, и если у вас ограниченный бюджет, платы Gigabyte AMD970/990 поддерживают ее. Это, однако, не афишируется, и вы должны пройти руководство MB, чтобы узнать, поддерживает ли оно это. Если это так, вы просто включаете его в BIOS. Я думаю, что есть статья в Википедии, которая отслеживает IOMMU-совместимое оборудование.
Я использую Gigabyte GA990FX UD3 с AMD FX8120 с ESXi для передачи сетевых карт гостям, и это работает просто отлично, но с видеокартой у вас, вероятно, будет некоторое снижение производительности.
Вам также необходимо убедиться, что вы не передаете свой единственный графический процессор гостю, так как это сделает ваш хост неработоспособным, поэтому наличие двух видеокарт является обязательным.