Загрузка вчерашних файлов в PowerShell с помощью WinSCP

Question

Область разработки: используйте сборки PowerShell и WinSCP .NET для автоматизации ночных загрузок, используя временную метку файла для определения файлов, которые нужно загрузить. Подключаемый FTP-сервер - это IIS, поэтому он не поддерживает все команды, такие как MLSD, в текущей конфигурации, и я не вижу, чтобы они вносили изменения по запросу.

Проблема: Файлы с 1 или 2-значным месяцем возвращают строки различной длины, и я не уверен, как это обойти. Мой код работает сейчас, но перестанет работать в октябре.

например, март отображает 3/ дд / гггг вместо 03/ дд / гггг

Другие примечания: Сначала я попытался написать сценарий с помощью WinSCP.com, но не смог найти способ правильно указать дату.

Например, вы можете указать *.zip>=1D или *.zip<=1D , но *.zip=1D или *.zip==1D в настоящее время не поддерживаются в последней версии WinSCP.

Код:

$yesterday = [DateTime]::Today.AddDays(-1).ToString("M/dd/yyyy")
# OR I have to use ToString("MM/dd/yyyy") for months 10-12,
# but I need both formats to work.
#delete the temporary file
del .\FTPfiles.txt
# Load WinSCP .NET assembly
Add-Type -Path "C:\Program Files (x86)\WinSCP\WinSCPnet.dll"

# Setup session options
$sessionOptions = New-Object WinSCP.SessionOptions -Property @{
    Protocol = [WinSCP.Protocol]::Ftp
    HostName = "server.com"
    UserName = "joe"
    Password = "smith"
}

$session = New-Object WinSCP.Session

    try
    {
        # Connect
        $session.Open($sessionOptions)

        $directory = $session.ListDirectory("/Folder")

        foreach ($fileInfo in $directory.Files)
        {
            Write-Output ("{1} {0}" -f
                $fileInfo.Name, $fileInfo.LastWriteTime) >> FTPfiles.txt
        }
        $fileList = get-content .\FTPfiles.txt | findstr $yesterday
        $stripped = $fileList -creplace '^.*Z12', 'Z12'


        # Download files
        $remotePath = "/Folder/"
        $transferOptions = New-Object WinSCP.TransferOptions
        $transferOptions.TransferMode = [WinSCP.TransferMode]::Binary

        $lines = $stripped

        foreach ($line in $lines)
        {
            Write-Host ("Downloading {0} ..." -f $line)
            $session.GetFiles($remotePath+$line, "C:\Downloads\").Check()
        }

    }


catch [Exception]
{
    Write-Host ("Error: {0}" -f $_.Exception.Message)
    exit 1
}
finally
{
    # Disconnect, clean up
    $session.Dispose()
} 

$fileInfo in $directory.Files записывает время последней записи, а затем имя файла в FTPfiles.txt для всех файлов, содержащихся на FTP-сервере из указанной папки. Этот текстовый файл затем читается, а затем сокращается до тех файлов, у которых есть время записи, которое произошло на вчерашнюю дату, которая в настоящее время работает только 9 месяцев в году из-за формата даты, использующего 1 цифру для месяца вместо 2 цифр. ,

Затем этот файл читается и удаляется из дат перед именами файлов, так что имена файлов будут использоваться для циклического просмотра при загрузке. Преобразование выглядит так:

FROM:
3/14/2017 2:04:00 AM Z1234_20170314050001_1.zip
3/14/2017 3:04:00 AM Z1234_20170315060002_1.zip
3/14/2017 4:04:00 AM Z1234_20170316070001_1.zip
3/14/2017 5:04:00 AM Z1234_20170317080001_1.zip

TO:
Z1234_20170314050001_1.zip
Z1234_20170315060002_1.zip
Z1234_20170316070001_1.zip
Z1234_20170317080001_1.zip

Затем скрипт использует эти имена файлов для загрузки необходимых файлов за предыдущий день.

Answer 1

Вы можете использовать верхнее и нижнее временное ограничение в одной маске файла WinSCP: *>=2017-03-15<2017-03-16

(подразумевается полночь, поэтому *=2017-03-15 - это не то, что вы хотите; а также причина, по которой он не реализован, поскольку он не будет иметь никакого смысла)

В PowerShell вы можете реализовать его следующим образом:

$yesterday = (Get-Date).AddDays(-1)
$yesterday_timestamp = $yesterday.ToString("yyyy-MM-dd")
$today = Get-Date
$today_timestamp = $today.ToString("yyyy-MM-dd")

$transferOptions = New-Object WinSCP.TransferOptions
$file_mask = "*>=$yesterday_timestamp<$today_timestamp"
$transferOptions.FileMask = $file_mask

$session.GetFiles("/Folder/*",  "C:\Downloads\", $False, $transferOptions).Check()

См. Статью WinSCP о форматировании временных отметок в PowerShell.

---

Хотя вы также можете использовать синтаксис WinSCP %TIMESTAMP% для еще более простой реализации:

$transferOptions = New-Object WinSCP.TransferOptions
$transferOptions.FileMask = "*>=%TIMESTAMP-1D#yyyy-mm-dd%<%TIMESTAMP#yyyy-mm-dd%"
$session.GetFiles("/Folder/*",  "C:\Downloads\", $False, $transferOptions).Check()

---

И это еще проще с WinSCP 5.14:

$transferOptions = New-Object WinSCP.TransferOptions
$transferOptions.FileMask = "*>=yesterday<today"
$session.GetFiles("/Folder/*",  "C:\Downloads\", $False, $transferOptions).Check()

---

См. Статью WinSCP о загрузке самого последнего файла.

Answer 2

Попробуйте эту функцию и передайте указанный диапазон дат в параметрах StartDate и EndDate

Function Download-Files 
{ 
    [CmdletBinding()] 
    Param 
    ( 
        [Parameter(Mandatory=$true)][Object]$Session, 
        [Parameter(Mandatory=$true)][String]$RemotePath, 
        [Parameter(Mandatory=$true)][String]$LocalPath, 
        [Parameter(Mandatory=$false)][String]$StartDate, 
        [Parameter(Mandatory=$false)][String]$EndDate 
    ) 

    If (-Not (Test-Path -Path $LocalPath -PathType Container)) { 
        New-Item -Path $LocalPath -ItemType Directory 
    } 

    Get-WinSCPChildItem -WinSCPSession $Session -Path $RemotePath | ForEach-Object { 
        If (-not($_.IsThisDirectory) -and -not($_.IsParentDirectory) -and $_.IsDirectory) { 
            Download-Files -Session $Session -RemotePath "$RemotePath\$($_.Name)\" -LocalPath "$LocalPath\$($_.Name)\" -StartDate $StartDate -EndDate $EndDate 
        } 

        If (-not($_.IsDirectory)) { 
            If ($_.LastWriteTime -ge $StartDate -and $_.LastWriteTime -le $EndDate) { 
                Receive-WinSCPItem -WinSCPSession $Session -Path "$RemotePath\$($_.Name)" -Destination $LocalPath 
            } 
        } 
    } 
}

Вы можете скачать полный пример кода из Как загрузить последние файлы в PowerShell от WinSCP