Обновление (более правильный ответ): метод загрузки EFI в Mac Pro является основной причиной, по которой нужны специальные видеокарты. Для правильной работы с EFI на карте должны присутствовать специальные инструкции по прошивке. Смотрите эту статью для получения дополнительной информации.
Оригинальный (более слабый) ответ: Самая важная вещь при установке любого стороннего оборудования в Mac - это поддержка драйверов. Если драйвер не встроен в OS X, производители оборудования обязаны написать драйвер и получить сертификат Mac. В прошлом Apple довольно требовательна к тому, чтобы благословлять водителей. Если это не одобрено Apple, вы сами по себе с поддержкой. Вещи, которые Apple продает вам, - это, в общем-то, одно и то же, за исключением того, что вы платите премию, потому что это благословение Apple (и тем самым поддерживается ими).
В Интернете можно найти списки (например, такие), в которых будут перечислены совместимые карты для определенных версий OS X (или определенного оборудования Apple).