Правильный escape-символ в PowerShell - `(обратная галочка).
Например, вы должны написать следующее, чтобы получить строку с новой строкой:
$newline = "`n"
Кроме того, по крайней мере, в тесте мне не нужно было избегать его. Так что просто Rename-Item "+1.txt" "+2.txt" сработало. Попытка использования -replace требовала обратной косой черты в первом аргументе, но не во втором. Так что $new = "+2" должно работать. Причина в том, что первым аргументом для -replace может быть регулярное выражение. Таким образом, термин нуждается в буквальном +, который не обрабатывается специально. Второе слагаемое состоит из буквальной строки, поэтому вам не нужно никаких специальных экранировок или подобных.