Обработчики для удаления файлов

Question

После загрузки наших первоначальных фактов в куб, мы затем загружаем второй файл, который добавляет меры к существующим фактам (поэтому во втором файле не создается никаких новых фактов). Для этого мы используем Handler.

Когда второй файл удаляется из файловой системы, мы хотели бы удалить только соответствующие меры из фактов.

Есть ли способ подключиться к механизму Directory/File Watcher для этого?

Answer 1

Вы можете расширить

.CSVSource.onFileAction(IFileWatcher watcher, Collection<String> added, Collection<String> modified, Collection<String> deleted) 

по телефону super.onFileAction (...), который будет обрабатывать добавленные и измененные файлы, а также добавить больше логики для обработки удаленных файлов.

Это может быть сделано путем обновления фактов, которые внесли удаленный файл в поле deletedFile. Такое поле может быть заполнено автоматически путем добавления метаданных Filepath в файле LoadInstructions.csv:

Format,FilePattern,FilePath,MetaData 
FormatName,formatRegex.csv,someFolder,FILEPATH=N/A 

и имеющий поле, как:

<field name="FILEPATH" type="string" indexation="dictionary" nullable="true" defaultValue="N/A" /> 

Answer 2

Если мы правильно понимаем и упрощаем usecase, ваш набор данных имеет две меры A и B. Для тех же записей один файл приносит меру «A», а другой файл принимает меру «B». И вы хотите свободно обновлять или удалять данные для измерения A или B независимо.

Существует несколько способов достижения этого.

Сначала вы можете отделить меры: вместо записей, которые имеют как поля А, так и В, у вас будет две записи с общим полем «значение» и поле «тип измерения», чтобы различать оба типа измерений. Этот дизайн является гибким, потому что позже вы можете ввести новую меру «C», которая сама загружается из другого файла.

Наиболее элегантным вариантом является, вероятно, использование распределенной архитектуры ActivePivot с полиморфным распределением. Вы бы установили два независимых куба, один из которых имел только меру «А», другой куб с мерой «В». Затем присоедините кубы вместе с полиморфным распределением, ActivePivot объединит их вместе «на лету» и представит обе меры, как если бы они принадлежали к одному и тому же (виртуальному) кубу.

Наконец-то быстрое и грязное решение: настройте свои меры как поля «nullable» в ActivePivot. Таким образом, когда вы хотите удалить меру «A», вы фактически записываете «null» в поля «A» ваших записей.