DataOverhouse duplicate rows rows

Question

Мы начинаем загружать хранилище данных с данными из журналов событий. У нас есть нормальная звездная схема, где строка в таблице фактов представляет одно событие. Наши таблицы измерений представляют собой типичное сочетание USER_AGENT, IP реферала, страница, и т.д. Один размера таблицы выглядит следующим образом:

create table referal_dim(
    id integer, 
    domain varchar(255), 
    subdomain varchar(255), 
    page_name varchar(4096), 
    query_string varchar(4096) 
    path varchar(4096) 
) 

Где мы автоматическая генерация идентификатора, чтобы в конечном итоге присоединиться к таблице фактов. Мой вопрос: какой лучший способ идентифицировать дубликаты записей в нашем процессе массовой загрузки? Мы загружаем все записи для файла журнала в таблицы temp, прежде чем делать фактическую вставку в постоянное хранилище, однако идентификатор просто автоматически увеличивается, поэтому две идентичные записи с двумя днями будут иметь разные идентификаторы. Будет ли целесообразно создавать хэш столбцов значений, а затем попытаться сравнить на этом? Кажется, что попытка сравнения на каждом столбце значения будет медленным. Есть ли какая-либо передовая практика для такой ситуации?

Answer 1

Целое число с автоматическим приращением для суррогатного ПК в порядке, но (по словам г-на Кимбалла) таблица измерений также должна иметь естественный ключ. Таким образом, столбец хеша NaturalKey будет в порядке, также может быть столбец Status для «текущего» или «истекшего» может использоваться для использования SCD типа 2.