Не из проводника Windows. Вы хотели бы использовать PowerShell или стороннюю программу, многие из которых бесплатны. Пакетное переименование довольно распространено, поэтому существует множество вариантов. Тем не менее, нет способа изменить формат для Windows Explorer.
Если вы не знакомы с PowerShell и не хотите загружать вирус или вредоносную программу, тогда я рекомендую Irfanview. Это очень популярное программное обеспечение для модификации изображений, и в его функции входит пакетное переименование (File -> Batch Conversion/Rename). Там вы можете указать точный формат, который вы хотите для переименованных файлов. И IrfanView (а также его плагины, если вы решите, что вам нравится часть программного обеспечения для редактирования изображений) абсолютно бесплатна.