PDI/Kettle: избегать выполнения создания или сопоставления файлов (под-преобразование)

Question

Уже ясно, что все шаги из преобразования выполняются параллельно, и нет никакого способа изменить это поведение в Pentaho.

Учитывая, что у нас есть сценарий с задачей переключения, который проверяет конкретное поле (чтение из имени файла) и решает, какая задача (преобразование-под-преобразование) будет обрабатывать этот файл. Это часть общей логики, которая, до и после каждой задачи отображения, делает некоторые задачи шаблонных как обновление БД записей, отправка электронной почты и т.д.

Проблема: если у нас нет никаких файлов «ACCC014», это преобразование не может быть выполнено. Я понимаю, что это невозможно, так как все задачи выполняются параллельно, поэтому возникает вторая проблема: внутри НЕКОТОРЫХ сопоставлений создаются файлы XML. И даже когда Pentaho выполняет эту задачу с пустыми данными, мы не можем найти способ избежать создания выходного файла XML.

Мы думали о том, чтобы переместить эту логику коммутатора на задание, так как в теории это серийный номер, но не нашел условного шага, который бы сделал это различие.

Мы также рассмотрели задачу метаданных инжекции, но мы не считаем, что это путь. Каждое суб-преобразование действительно выполняет разные задания. Некоторые из них обновляют некоторые таблицы, другие записывают файлы, другие переносят данные между различными базами данных. Все они получают некоторый файл в качестве входных данных и возвращают флаг send_email и строку сообщения. Ничего больше.

Есть ли способ сделать то, что мы желаем? Или нет возможности повторно использовать часть логики на основе входов/выходов по умолчанию?

Редактировать: добавить трансформацию ACCC014. Да, опция «Не создавать файл при запуске» отмечена.

Answer 1

Вы можете использовать Transformation Executor шаг (http://wiki.pentaho.com/display/EAI/Transformation+Executor) для того, чтобы выполнить преобразование условно. Хотя я на самом деле не использовал этот шаг, поэтому я не могу сказать ничего о стабильности или производительности.

Основное преобразование:

Set-вверх ваш родитель преобразование так:
Что касается шага Injector: в версии 5.2, я не смог получить поля, созданные в суб-преобразования, даже если они были определены на вкладке «строки результатов», поэтому я должен был определить все эти поля на шаге инжектора. Не уверен, если это все еще необходимо в текущей версии.

Возможные корректировки для трансформации Исполнитель:

1. Возможно, вы хотели бы изменить The number of rows to send to the transformation значение на Row grouping вкладке: установите его в 0, чтобы отправить все строки сразу вместо повторного выполнения преобразование для каждые N строк.

2. Если вы хотите прочитать выход вашего суб-преобразования, выберите «Это выход будет содержать строки результата после выполнения» вариант, а создания хмель на следующей стадии:

Sub-преобразование:

Единственное изменение, которое вы, вероятно, нужно здесь, чтобы заменить ввод и вывод отображения на Get rows from result и Copy rows to result:

Известная проблема в 5.2: Похоже, что исполнитель задания считывает выходные данные суб-преобразования не из шага «Копирование строк в результат», а из последнего созданного шага. Итак, если вы добавили некоторые шаги в свое суб-преобразование, не забудьте повторно создать шаг, из которого вы ожидаете прочитать результат: просто выберите «Копировать строки в результат», вырежьте его, создать хмель.