Как получить доступ к определенным строкам в массиве Import-Csv?

Question

Мне нужно разделить большую загрузку файла во многие параллельные процессы и использовать один CSV-файл для ввода. Можно ли доступ блоки строк из Import-Csv объекта, что-то вроде этого:

$SODAData = Import-Csv $CSVPath -Delimiter "|" | 
      Where $_.Rownum == 20,000..29,999 | 
      Foreach-Object { ... } 

Что такое синтаксис для такой экстракции? Я использую Powershell 5.

Answer 1

Import-Csv импортирует файл как массив объектов, так что вы могли бы сделать что-то вроде этого (используя оператор диапазона):

$csv = Import-CSv $CSVPath -Delimiter '|' 
$SOAData = $csv[20000..29999] | ForEach-Object { ... } 

В качестве альтернативы можно использовать Select-Object :

$offset = 20000 
$count = 10000 
$csv = Import-Csv $CSVPath -Delimiter '|' 
$SODAData = $csv | 
      Select-Object -Skip $offset -First $count | 
      ForEach-Object { ... } 

Если вы хотите, чтобы избежать чтения всего файла в память вы можете изменить выше одного трубопровода:

$offset = 20000 
$count = 10000 
$SODAData = Import-Csv $CSVPath -Delimiter '|' | 
      Select-Object -Skip $offset -First $count | 
      ForEach-Object { ... } 

Остерегайтесь, однако, что при таком подходе вам нужно несколько раз прочитать файл для обработки нескольких кусков данных.