Как получить Переупорядочьте столбец с входным CSV фиксированного столбца в Pentaho

Question

Сценарий:

Я создал преобразование для загрузки данных в таблицу из CSV-файла, и у меня есть следующие столбцы в CSV файле:

1. customer_id
2. company_id
3. Employee_Name

Но пользователь может дать входной файл Колонка заказ (в случайном порядке), как

1. Employee_Name
2. company_id
3. customer_id

так, если я пытаюсь загрузить файл, который имеет случайный порядок столбцов, будет чайник значения нагрузки правильно столбцов в соответствии с имена столбцов ...?

Answer 1

Использование ETL Metadata Injection вы можете использовать преобразование, как это, либо нормализовать данные, или сохранить его в базу данных:

Тогда вам просто нужно отправить правильные данные для этой трансформации. Вы можете прочитать строку заголовка из CSV и использовать Row Normaliser для преобразования в формат, используемый ETL Metadata Injection.

Я включил здесь быстрый пример: csv_inject on Dropbox, если вы сделаете что-то вроде этого и запустите его из чего-то, что запускает его за файл csv, он должен работать.

Answer 2

Вы могли бы попробовать что-то вроде этого, как ваш JavaScript:

//Script here 

var seen; 
trans_Status = CONTINUE_TRANSFORMATION; 
var col_names = ['Customer_Id','Company_Id','Employee_Name']; 
var col_pos; 
if (!seen) { 
    // First line 
    trans_Status = SKIP_TRANSFORMATION; 
    seen = 1; 
    col_pos = [-1,-1,-1]; 
    for (var i = 0; i < col_names.length; i++) { 
     for (var j = 0; j < row.length; j++) { 
      if (row[j] == col_names[i]) { 
       col_pos[i] = j; 
       break; 
      } 
     } 
     if (col_pos[i] === -1) { 
      writeToLog("e", "Cannot find " + col_names[i]); 
      trans_Status = ERROR_TRANSFORMATION; 
      break; 
     } 
    } 
} 

var Customer_Id = row[col_pos[0]]; 
var Company_Id = row[col_pos[1]]; 
var Employee_Name = row[col_pos[2]]; 

Вот .ktr я попробовал: csv_reorder.ktr

(редактирование, вот тест CSV-файлов) 1.csv:

Customer_Id,Company_Id,Employee_Name 
cust1,comp1,emp1 

2.csv:

Employee_Name,Company_Id,Customer_Id 
emp2,comp2,cust2 

Answer 3

Ох, вот некоторые неприятные javascript!

Способ сделать это с помощью метаданных. Посмотрите на образцы, но в основном вам нужен шаблон, который читает файл и записывает его обратно. вы затем используете другое родительское преобразование для определения заголовков, настройки этого шаблона и последующего его выполнения.

В папке с образцами PDI есть образцы, а также посмотрите пример «фигурирующего формата файла» в проекте матовых роликов на github.

Answer 4

Предполагая, что отклонение входного файла не является вариантом, у вас в основном есть 4 решения.

1. изменить порядок полей во внешнем редакторе (не используйте первенствует, если он содержит даты)
2. Используйте код в вашей трансформации, чтобы обнаружить заголовки столбцов и изменить порядок файла.
3. Использование инъекции метаданных, предложенное bolav
4. Создайте работу. Это необходимо для:

a. загрузите файл во временную базу данных. b. используйте инструкцию sql для извлечения полей (используйте SELECT с предложением ORDER BY) c. выведите файл в правильном порядке.