Загрузить таблицу промежуточных запросов SQL Query Issue

Question

У меня возникает серьезная проблема при загрузке таблицы промежуточных данных из хранилища данных. Мой запрос на загрузку таблицы Staging занимает более 24 часов. Три основные таблицы: item_ledger_entry = 12 миллионов, Value_Entry = 28 миллионов и Gl_Entry = 58 миллионов. Проблема заключается в том, что предложение Group By принимает 95% стоимости CUP для SORT. Пожалуйста, помогите.

Спасибо заранее. Я могу отправить вам запрос по электронной почте, если потребуется.

Answer 1

Голосование на близком расстоянии слишком мало информации.

Типичные подходы:

• Не загружайте все данные. Вам действительно не нужно o загружать неизменные записи каждый день. У вас есть крошечные данные (мы отслеживаем 40 миллионов строк PER DAY), но trcick не загружает данные, которые не изменились для начала.
• Лучшее оборудование. Вы не говорите ничего, что используете.
• Избегайте группировки - что или? Не ясно из вашего вопроса.,

В общем: Нанять специалиста. Серьезно. Это звучит как настоящий проект высокого уровня, и люди зарабатывают деньги своими знаниями. Если у вас есть проблема на этом уровне, многие другие вещи могут быть ошибочными, и тщательный ответ выходит за рамки того, что вы можете задать здесь. Например, запрос может не быть вашей проблемой, подход hwole может сосать (как я сказал: не нужно обрабатывать данные для начала).