Как упомянул jdwolf в комментарии, виртуальная машина, которая регистрирует все обращения к файлам, была бы надежным решением. Даже если вредоносная программа может обнаружить, что она работает на виртуальной машине, сегодня это вполне нормально. И если виртуальная машина кажется медленной, это может быть просто потому, что платформа виртуализации находится под большой рабочей нагрузкой.
Также возможно запустить программу с помощью strace или аналогичной команды отладки, которая записывает все системные вызовы, сделанные программой. Тем не менее, умный автор вредоносных программ может заставить свою вредоносную программу обнаруживать, когда она запускается под любым видом функций отладки (например, strace). Тогда вредоносная программа могла бы вести себя безобидно в то время и оставлять плохие вещи до тех пор, пока она не будет запущена под средствами отладки.
