Как я могу определить локальные файлы, которые уже были загружены на S3, и с тех пор не изменились?

Question

Нижеприведенный скрипт копирует все файлы из структуры папок, затем вставляет их в ведро S3. Однако я хочу, чтобы он мог пропускать файлы, которые не были изменены со времени последней загрузки, чтобы избежать дублирования загрузки. Кто-нибудь знает, как я могу получить, если файл существует, проверка или последнее изменение?

Import-Module "C:\Program Files (x86)\AWS Tools\PowerShell\AWSPowerShell\AWSPowerShell.psd1" 
$bucket="bucketname" 
$source="e:\dfs\*" 
$outputpath="C:\temp\log.txt" 
$AKey="xxxx" 
$SKey="xxxx" 

Set-AWSCredentials -AccessKey $AKey -SecretKey $SKey -StoreAs For_Move 
Initialize-AWSDefaults -ProfileName For_Move -Region eu-west-1 

Start-Transcript -path $outputpath -Force 
foreach ($i in Get-ChildItem $source -include *.* -recurse) 
{ 
    if ($i.CreationTime -lt ($(Get-Date).AddDays(-0))) 
    { 
     $fileName = (Get-ChildItem $i).Name 
     $parentFolderName = Split-Path $i -Parent 

     Write-S3Object -BucketName $bucket -Key dfs/$parentFolderName/$filename -File $i 
    } 
} 

Answer 1

Для очень простого "существует ли файл?" вы можете использовать Get-S3Object с тем же местоположением и протестировать каждый файл, прежде чем пытаться его загрузить.

if (!(Get-S3Object -BucketName $bucket -Key dfs/$parentFolderName/$filename)) { 
    Write-S3Object -BucketName $bucket -Key dfs/$parentFolderName/$filename -File $i 
} 

Сравнивая Changed дату последней загрузки немного сложнее, но вы можете использовать тест больше как:

$localModified = (Get-ItemProperty -Path $fileName).LastWriteTime 
$s3Modified = (Get-S3Object -BucketName $bucket -Key $file -Region us-east-1).LastModified | Get-Date 

if ($s3Modified -lt $localModified) { 
    Write-S3Object -BucketName $bucket -Key dfs/$parentFolderName/$filename -File $i 
} 

Answer 2

Собираем их вместе я получил следующее:

Import-Module "C:\Program Files (x86)\AWS Tools\PowerShell\AWSPowerShell\AWSPowerShell.psd1" 
$bucket="<my bucket name>" 
$source="C:\dev\project\*" 
$outputpath="C:\dev\log.txt" 
$AKey="<key>" 
$SKey="<secret>" 
$region="<my AWS region>" 

Set-AWSCredentials -AccessKey $AKey -SecretKey $SKey -StoreAs For_Move 
Initialize-AWSDefaults -ProfileName For_Move -Region $region 

Start-Transcript -path $outputpath -Force 
foreach ($i in Get-ChildItem $source -include *.* -recurse) 
{ 
    if ($i.CreationTime -lt ($(Get-Date).AddDays(-0))) 
    { 
     $fileName = (Get-ChildItem $i).Name 
     $parentFolderName = Split-Path $i -Parent 
     $key = "$i" 

     $localModified = (Get-ItemProperty -Path $i).LastWriteTime 
     $remoteObject = Get-S3Object -BucketName $bucket -Key $key -Region $region 
     if($remoteObject -eq $null) { 
      Write-S3Object -BucketName $bucket -Key $key -File $i 
      "Added new file $i" 
     } else { 

      $s3Modified = $remoteObject.LastModified | Get-Date 

      if ($s3Modified -lt $localModified) { 
       Write-S3Object -BucketName $bucket -Key $key -File $i 
       "Updated $i" 
      } 
     } 
    } 
} 

Примечание: это первый сценарий Powershell, который я когда-либо писал - так простите меня, если у меня есть стиль и подход неправильный.