Лучших вариантов для управления больших наборов данных SQLServer

Question

В настоящее время я работаю над проектом, который включает в себя следующее:

• Применение я работаю подключены к базе данных SQLServer.
• SAP загружает информацию в нескольких таблицах (в ежедневной , а также ежечасно) в базу данных MASTER
• Есть 5 других баз данных (размещенных на том же сервере), что доступ к этой информации с помощью синонимов и вызовы хранимых процедур в MASTER базы данных

• база данных MASTER используется исключительно для хранения данных и маршрутизации его с другими базами данных)

  Master Database -

  таблицы:

• MASTER_TABLE1 <------- SAP inserts data into this table.Triggers are used to process the valid data & insert into secondary staging tables -say MASTER_TABLE1_SEC

• MASTER_TABLE1_SEC -- Holds processed data coming into MASTER_TABLE1

ПЯТЬ другие базы данных (для каждого производственного предприятия) присутствуют в том же сервере. Мое приложение подключается к базам данных по объекту (не мастер) FACILITY1 Facility2 .... FACILITY5

Синонимы MASTER_TABLE1_SEC созданы в каждом из этих 5 баз данных по объекту Хранимые процедуры снова вызываются из базы данных Facility - для загрузки данных из MASTER_TABLE1_SEC в соответствующие таблицы (в рамках КАЖДОГО объекта) на основе бизнес-логики.

Есть ли лучшая архитектура для обработки такого проекта? Я начинаю, когда речь заходит об улучшенном управлении данными. Может ли кто-нибудь предложить лучшую архитектуру или инструменты для этого?

Answer 1

Существует множество шаблонов, которые действительно отвечают потребностям, описанным здесь. Он служит для работы с типом хранилища данных. Я использую Data Vault для своих корпоративных хранилищ данных. Это метод ансамблевого моделирования, предназначенный для интеграции и подготовки основных данных. Вы можете думать об этом как о способе размещения всех данных за все время. Затем вы создадите Data Marts (метод Кимбалла) для каждого из объектов, содержащих только те, или все, что требуется для их нужд.