Создание панели управления таблицей с использованием Impala как источника данных

Question

У меня есть таблица imapla, которая содержит объемные записи (39885593), и вам нужно создать панель управления, используя таблицу impala через Tableau.

Я пытался достигнуть этого требования несколькими способами, как показано ниже

1) Извлеченные данные из таблицы импала в экстракте Tableau, а затем создание приборной панели. 2) Сначала используйте извлечение данных, а затем переключитесь на соединение с живым подключением 3) Подключение в реальном времени

Подход 1: Возможность создания информационной панели с извлечением данных. Дает хорошую производительность. Проблема с этим приложением заключается в том, что данные - это транзакционные данные, которые растут каждый день, поэтому, если я пройду через этот подход, извлечение данных займет больше места на сервере Tableau.

Approach2: Используя этот подход, я могу эффективно проектировать панель управления, когда я переключаю соединение с извлечением данных в Live и публикую панель инструментов, для публикации панели мониторинга требуется много времени, когда я просматриваю панель управления с помощью сервера Tableau для открытия панели инструментов в браузере требуется больше времени.

Подход 3: Живое соединение обеспечивает очень низкую производительность при проектировании и публикации панели приборов.

Если кто-либо сталкивался с подобным требованием, можете ли вы предоставить мне предложение для этого же.

Благодаря

Answer 1

Вы говорите, что живая связь дает низкую производительность, может быть, вы могли бы попробовать агрегирование данных в Impala с запросом пользовательского SQL перед приведением в Tableau?

Answer 2

Если вам нужно до минуты живого доступа к миллионам записей транзакций, я рекомендую работать с экстрактами (возможно несколько экстрактами)

Но уменьшить размер ваших экстрактов до минимума, необходимого для поддержки визуализации. Вы можете добавлять фильтры источника данных, скрывать неиспользуемые поля, сворачивать данные для агрегирования в выписке до уровня детализации, необходимого для вашего просмотра.

Для больших наборов данных не пытайтесь сделать один экземпляр, который является всего лишь копией всего набора данных, сделать несколько более мелких, каждый из которых поддерживает только информацию, необходимую для одного (или небольшого набора) связанных Просмотры. Подумайте об экстракте, как о материализованном виде.

Если в представлении отображается только 100 меток, тогда старайтесь иметь только 100 записей в извлечении, которые он использует, даже если это 100 записей, суммируют информацию от 100 миллионов в базовом источнике данных.

Тогда вы можете получить более крупный экстракт или даже живой источник для людей, которые будут использоваться при сверлении в виде подробного просмотра (отфильтрованный), и первые виды вашей панели инструментов могут запускаться быстро.

Этот способ интерактивности, обновления и публикации может быть быстрым.

Для этого подхода вам может потребоваться использовать несколько источников данных в вашей книге, даже если они основаны на одной базе данных. А также использование действий фильтра, параметров и вычисленных полей для фильтрации и соединения между источниками данных.