Задача SSIS для управления CDC

Question

Я делаю доказательство концепции использования компонента SSIS CDC.

Для начальной загрузки: То, что я получил до сих пор

шаг 1: CDC Control Task с CDC Операции управления, как: Марк Initial нагрузки начать шаг 2: поток данных, чтобы загрузить все записи источника к месту назначения шаг 3 : Задача управления CDC с управлением CDC Операция как: Отметить Начальный конец загрузки (остальная настройка с CDC на шаге 1)

Когда я запускаю первый раз ... все данные загружаются штрафом. Если вы запускаете то же самое ... вместо того, чтобы выбирать никакие записи (без изменений в источнике) ... его перезагружает все записи снова ... дублируя.

ли это не проверяет, в CDC Государственной таблицы, созданной на шаге 1.

Любой может указать мне хороший образец или учебник будет большой.

Answer 1

Да, я понял. Что я делал неправильно, я создал единый пакет для выполнения всех начальных нагрузок и инкрементной нагрузки. И другое: я не создал шаг для «Mark CDC Start» после начальной загрузки. Теперь у меня есть один пакет, который выполняет полную начальную загрузку, а затем запускает Marks CDC. Затем оттуда начинается мой второй пакет для создания дополнительной загрузки.

Answer 2

Прежде всего, вам нужно понять, что задача управления CDC касается только LSN. Он считывает его из базы данных, поддерживаемой CDC, и сохраняет ее в указанной переменной, чтобы последующий шаг мог ее использовать. Необязательно, он может сохранить значение в таблице базы данных, а затем последующее выполнение пакета может его использовать.

Шаг 1 и этап 3 по существу просто поместите один номер LSB в состояние CDC соответственно, максимальное значение LSB при выполнении этих шагов. В то время как начальная загрузка выполняется, могут быть другие действия, происходящие одновременно, эти 2 шага дают нам диапазон LSB, который охватывает начальный период загрузки.

Следующий запуск после начальной нагрузки должен быть инкрементной нагрузкой, в которой используется источник CDC в потоке данных для извлечения транзакций, произошедших во время начальной загрузки.

Отличное сообщение here от Matt Masson должно дать вам представление о CDC.