Короткая версия исправления, если эти ссылки не будут работать в будущем:
Создайте ярлык для папки проводника на рабочем столе, а затем отредактируйте расположение ярлыка так, чтобы он указывал "проводник" перед путем. Вы также можете изменить значок, перейдя к ярлыку -> Изменить значок. Затем прикрепите ярлык к панели запуска.
Обратите внимание, что, поскольку это ярлык, а не приложение, которое вы прикрепляете, при щелчке по нему откроется окно под основным значком проводника.
http://www.7tutorials.com/how-pin-any-folder-windows-7-taskbar
http://lifehacker.com/5372830/pin-individual-folders-to-the-windows-7-taskbar
Лично я большой поклонник использования официальной функции закрепления папок для закрепления папок в приложении Explorer (держит панель запуска в чистоте), но я предполагаю, поскольку вы спрашиваете, как конкретно закрепить значок отдельно, чтобы вы мы рассматривали этот вариант. Но хотел упомянуть это как вариант на всякий случай.