НЕ ПЫТАЙТЕСЬ УДАЛИТЬ СЕРТИФИКАТЫ!
В случае успеха вы вызовете больше проблем, чем исправите. HTTPS сломается для одного. Я был бы удивлен, если RemoteApp работал вообще. Проблема не вызвана сертификатами вообще, она кричит, потому что вы используете самозаверяющий сертификат. Сертификаты предназначены для проверки личности (помимо всего прочего, но я буду кратким). В настоящее время ваша система не имеет возможности подтвердить свою личность через надежный источник, поэтому она создает собственный самозаверяющий сертификат.
Что вы можете сделать, это добавить самоподписанный сертификат на машины, с которыми вы работаете. Взгляните на эту статью TechNet. Вы также можете сделать это через GPO.