Рекомендации по шаблону проектирования для приведенного ниже потока данных ssis

нам нужно обновить таблицу из файла csv. Столбцы исходного файла имеют текстовый тип. Вместо использования производного столбца для преобразования типа данных используется редактор файлов с плоским файлом для изменения типа данных в соответствии с целью.Рекомендации по шаблону проектирования для приведенного ниже потока данных ssis

Идея состоит в том, чтобы избежать ненужной обработки производным столбцом. если есть ошибки в чтении данных в плоском файле, то мы переадресуем его через flow2 Является ли это хорошим шаблоном проектирования ETL !?

источник

2016-11-04 user1254579

Ваш вопрос не очень ясен –

Чем сложнее ваша система, тем больше вещей может пойти не так. Вы намного лучше избегаете «ненужной обработки задачей _script_», чем «ненужная обработка производным столбцом». –

производный столбец/преобразования Coversion данных без блокировки и не будет добавлять любые накладные расходы на обработку. Однако я считаю, что лучший способ добиться того, что вы делаете, - определить типы данных в столбце в диспетчере соединений с плоским файлом, а не через путь ошибки.

источник

2016-11-08 03:42:45 VKarthik

Спасибо. Но компонент сценария также не блокирует. В этом сценарии мы можем избежать ненужной обработки? – user1254579

Как заметил Ник, это ненужное усложнение использования задачи Script, которая также непросто поддерживать. Единственный случай использования, в котором я могу думать о том, где вы не хотите определять типы данных в столбце, - это случай, когда изменяется тип источника данных. В таких случаях было бы лучше пойти с BIML. В общем сценарии всегда лучше всего определять в самом соединении. – VKarthik

Есть две проблемы с задачей скрипта: 1. Редактор Visual Studio ненадежен, и легко заразить визуальную студию, чтобы вы больше не могли редактировать скрипты; 2. Сценарии требуют особых повышенных разрешений в temp на диске C, которые инфраструктура часто неохотно реализует на производственных коробках. –

Рекомендации по шаблону проектирования для приведенного ниже потока данных ssis

ответ

Смежные вопросы