Работа у-sql выполняется очень медленно, когда я добавляю вызов .NET

Question

Код работает очень быстро над 2000 небольшими файлами (~ 10-50 Kb) ~ 1 мин. Parallelizm = 5.

@arenaData = 
    EXTRACT col1, col2, col3 
    FROM @in 
    USING Extractors.Tsv(quoting : true, skipFirstNRows : 1, nullEscape : "\\N", encoding:Encoding.UTF8); 

@res = 
    SELECT col1, col2, col3 
    FROM @arenaData; 
    OUTPUT @res 
    TO @out 
    USING Outputters.Csv(); 

Но если я изменить код, как это он занимает ~ 1 час

@arenaData = 
    EXTRACT col1, col2, col3 
    FROM @in 
    USING Extractors.Tsv(quoting : true, skipFirstNRows : 1, nullEscape : "\\N", encoding:Encoding.UTF8); 

@res = 
    SELECT 
     col1.ToUniversalTime().ToString("yyyy-MM-dd HH:mm:ss", CultureInfo.InvariantCulture) AS col1_converted, 
, col2, col3 

    FROM @arenaData; 
    OUTPUT @res 
    TO @out 
    USING Outputters.Csv(); 

Почему .NET вызов так медленно? Мне нужно преобразовать формат даты в исходные CSV-файлы в «yyyy-MM-dd HH: mm: ss»? Как я могу сделать это эффективно?

Answer 1

Замечательно, что вы получаете лучшую производительность прямо сейчас!

Ваша работа выполняется на более чем 2800 очень маленьких файлах, используя выражение, которое выполняется в управляемом коде и не переведено на C++, поскольку некоторые из наиболее распространенных выражений C# в U-SQL.

Это приводит к следующей задаче:

1. Вы начинаете свою работу с определенным количеством а.е.. Затем каждый AU запускает контейнер YARN для выполнения части вашей работы. Это означает, что контейнер должен быть инициализирован чисто, что занимает некоторое время (вы можете увидеть его в представлении выполнения вершин как время создания). Теперь это занимает немного времени, это не так много накладных расходов, если ваша вершина выполняет некоторую большую обработку. К сожалению, в вашем случае обработка выполняется очень быстро в небольшом файле, поэтому есть большие накладные расходы.

2. Если вершина выполняет только сгенерированный системой код, который мы кодируем в код C++, мы можем повторно использовать контейнеры без времени повторной инициализации. К сожалению, мы не можем повторно использовать общий пользовательский код, который запускается с управляемой средой выполнения из-за того, что оставшиеся артефакты остаются позади. Поэтому в этом случае нам нужно повторно инициализировать контейнеры, которые потребуют времени (более 2800 раз).

Теперь на основе ваших отзывов, мы совершенствуем нашу логику (повторной инициализации мы все еще можем переинициализировать, если вы что-нибудь фантазии с инлайн C# выражений не делать). Кроме того, он станет лучше, если мы сможем обрабатывать несколько небольших файлов внутри одной вершины вместо одного файла на вершину.

Обходные пути для вас - увеличить размеры ваших файлов и, возможно, избежать того, чтобы пользовательский код (возможно, не всегда) был слишком большим из вершин.