Лучше сначала удалить старую версию, а затем запустить новый установщик, или все установщики будут иметь возможность автоматического обновления?
В зависимости от установщика. Некоторые делают "очистку" в вашей файловой системе, чтобы стереть некоторые ненужные файлы, аккуратно удалить старый неиспользуемый файл, но многие из них вообще этого не делают.
Это действительно зависит от установщика и, более того, от разработчика приложения, если он хорош.
В Windows у вас есть хорошие утилиты для удаления старых таблиц регистра, очистки некоторых файлов журналов и т.д.
http://www.piriform.com/ccleaner/download
Просто возьмите бесплатную версию, это хорошо.
Не забудьте сохранить ваш реестр перед любыми изменениями (все объясняется в приложении).