Сохраните ваши изображения значков в формате .png, затем используйте этот инструмент, чтобы скомпилировать их в один файл .ico:
png2ico - конвертер PNG в иконки (Linux, Unix, GNU, Windows, ...)
http://www.winterdrache.de/freeware/png2ico/
Прелесть этого инструмента (и подобных ему инструментов) заключается в том, что он может сохранять несколько размеров в одном файле .ico, чтобы в месте назначения отображался наиболее подходящий размер (например, если пользователь увеличивает представление значков, размер изображения с более высоким разрешением может отображаться вместо увеличенного для более качественного изображения).
Это инструмент командной строки, который также хорош для целей автоматизации, но также потому, что тогда вы получаете полный контроль над тем, что происходит, что не всегда типично для графического интерфейса пользователя.