Как обеспечить, чтобы данные таблицы разделенных kdb не дублировались?

Question

Я создал разбитый db, который получает данные из ежедневных сохраненных файлов. Он работает нормально, но я обеспокоен тем, что kdb может добавлять повторяющиеся строки, если я дважды запускаю сценарий раздела с теми же файлами дня.

Должен ли я использовать «ключ» для проверки существования секционированных таблиц или есть более простой способ застраховать, что kdb не будет дублировать сохраненные данные?

Answer 1

Я не уверен, что ваша проблема в том, что 1) вы боитесь, что вы загрузите один и тот же файл более одного раза или 2) несколько файлов могут содержать одни и те же данные, поэтому вам не нужны последующие загрузки для создания дубликатов.

Для 1), если ежедневные сохраненные файлы, которые используются для создания БД, не обновляются и не имеют уникальных имен, вы можете отслеживать, какие файлы уже были загружены, и пропустить их при последующих запусках.

2) Даже если вы не можете физически закрепить таблицу, у вас, вероятно, есть определенные «ключевые» столбцы, например. sym, дата, время, сторона и т. д. Вы можете проверить, отображаются ли «ключевые» значения загружаемого вами фрагмента в разделе даты. Если они это сделают, отбросьте эти записи, оставив остальных.