Лучше всего сначала отфильтровать с помощью регулярного выражения и использовать (группу захвата) для определения дня,
чтобы потом исключить ваши особые дни 05|15|28
Вы не указали расширение, поэтому я тоже не буду
## Q:\Test\2018\07\24\SU_1342824.ps1
#Requires -Version 3.0
Push-Location "X:\Folder\to\start"
$RE = [RegEx]'^SageAccts Company Name 2018-[01][0-9]-([0-3][0-9]) [0-2][0-9]-[0-5][0-9]-[0-5][0-9]$'
## year- month -( day ) hour - minute - second
Get-ChildItem 'SageAccts Company Name 2018-*' -File |
Where-Object {$_.BaseName -match $RE} |
Where-Object {$Matches[1] -notmatch '05|15|28' }|
Remove-Item -Whatif
Если выходные данные выглядят нормально, удалите параметр -WhatIf
из командлета Remove-Item
## to generate test files
1..30|%{new-Item -ItemType file -path ("SageAccts Company Name 2018-06-{0:00} 00-00-10.txt" -f $_)}