Как работает Ignite с помощью Spark из представления интеграции

Question

Существует IngiteRDD, который может отражать изменения в базовом кеше, которые в некоторых случаях очень приятны для преодоления недостатка неизменности Spark 'RDD.

Метод IgniteRDD.sql, который работает ANSI sql (not spark sql), этот метод возвращает DataFrame, который является концепцией искрового sql. Когда я получу этот объект DataFrame, могу ли я использовать его как обычный DataFrame, который мне не нужно думать, что он из мира Ignite? То есть, я могу зарегистрировать временную таблицу, а затем распределить соединение с другим DataFrame. Когда выполняется sql как распределенное соединение, использует ли Ignite Spark SQL Engine или Ignite Engine для запуска sql?

Answer 1

После выполнения запроса вы можете использовать API Dataframe, но в этом случае он не будет распространен. То есть он будет работать с локальным набором результатов, уже выбранным драйвером.

Полная поддержка Dataframe в Ignite будет доступна в следующем году.