Создайте приложение для отчетности и анализа на основе Hadoop

Question

У меня есть приложение с SAS, где я извлекаю данные из Oracle и создаю отчет, чтобы использовать макросы Base SAS и SAS. Теперь проблема заключается в изо дня в день, когда моя база данных становится огромной, и получение данных из Oracle занимает больше времени, в результате мои рабочие места работают медленно.

Поэтому я хочу, чтобы мое приложение было построено на Hadoop для целей отчетности и анализа. Может кто-нибудь, пожалуйста, предложите мне какой-нибудь подход и какие инструменты мне нужно использовать для этого.

Answer 1

Короткий ответ: это зависит.

Для выгрузки данных из Oracle я бы рекомендовал использовать Sqoop (http://sqoop.apache.org/), он предназначен для этого конкретного случая использования и может даже сделать добавочные нагрузки и может создать улую таблицу для выгруженных данных

Когда данные вы можете использовать Impala для создания отчета, который вам нужен. Impala может работать с таблицами Hive, поэтому поет очень прост. Конечно, вам придется переписать свой код SAS на набор операторов SQL, которые будут работать поверх Impala.

Далее, если вам нужна визуализация инструмент для работы на нем, вы можете попробовать что-то вроде Tableau или любого другого инструмента, который способен использовать ODBC/JDBC для подключения к Impala

Наконец, я думаю, что Hadoop + Sqoop + Impala будет отвечать вашим потребностям. Но я бы рекомендовал вам также взглянуть на базы данных MPP, потому что использование SAS означает, что у вас есть хорошо структурированные данные, и база данных MPP будет лучше подходит для этого случая.