Может кто-нибудь объяснить это: «Spark SQL поддерживает другой вариант использования, чем Hive».

Question

Я имею в виду по следующей ссылке: Hive Support for Spark

Он говорит:

«Спарк SQL поддерживает различный случай использования, чем улей.»

Я не уверен, почему это будет так. Означает ли это, что как пользователь Hive я не могу использовать движок Spark для запуска Spark SQL?

Некоторые вопросы:

• Спарк SQL использует улей Query парсер. Таким образом, он идеально поддерживает все функциональные возможности Hive.
• Будет ли использовать Hive Metastore?
• Будет ли улей использовать оптимизатор искры или он построит собственный оптимизатор?
• Will Hive переводит MR Jobs в Spark? Или использовать какую-то другую парадигму?

Answer 1

Spark SQL предназначен для использования выражений SQL поверх библиотек обучения Spark. Он позволяет использовать SQL как инструмент (в частности) для создания расширенных аналитических приложений (например, ML). Это не замена для Hive, которая лучше всего подходит для пакетной обработки/ETL.

Однако, существует также работа, продолжающаяся вверх по течению, чтобы Spark мог служить общей базой данных для Hive. Эта работа позволит вам в полной мере использовать преимущества Spark для использования в Hive.