apache-spark-sql

7зной

1ответ

Сохранение >> 25T SchemaRDD в формате Паркет на S3

Я столкнулся с рядом проблем при попытке сохранить очень большой SchemaRDD, как в формате Паркета на S3. Я уже задавал конкретные вопросы по этим проблемам, но это то, что мне действительно нужно дела

0зной

1ответ

Можем ли мы использовать версию Shark 0.9.1 с Spark 1.1.0?

Я знаю, что Shark был добавлен Spark SQL, новым модулем в Apache Spark. Но мой вопрос: можем ли мы использовать существующую акулу с новыми версиями Spark?

1зной

1ответ

Если Spark SQL поддерживает HQL как «вставить каталог перезаписи»?

Я хотел бы спросить, поддерживает ли Spark SQL HQL, как «вставить каталог перезаписи». Или есть другой способ сохранить набор результатов (от сервера sql jsbc искры) до HDFS напрямую?

0зной

1ответ

Ошибка ввода кода искры

Я получаю сообщение об ошибке при запуске ниже написанного кода SPARK. Я пытаюсь найти сумму всех векторов на основе ключа. Каждая строка ввода начинается с ключа (целое число), а затем 127 чисел с пл

5зной

1ответ

Исправлена ошибка типа RDD при создании RDD

Я пытаюсь создать RDD объектов класса case. . Например, // sqlContext from the previous example is used in this example. // createSchemaRDD is used to implicitly convert an RDD to a SchemaRDD. impor

9зной

5ответ

Ошибка при использовании контекста улья в искре: объект куст не входит в пакет org.apache.spark.sql

Я пытаюсь построить контекст улья, который наследуется от SQLContext. val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc) Я получаю следующее сообщение об ошибке: error: object hive is no

1зной

1ответ

Spark SQL - Как выбрать даты, сохраненные как UTC миллис. С эпохи?

Я искал и не нашел решения о том, как можно запрашивать даты, хранящиеся в миллисекундах UTC из эпохи, используя Spark SQL. Схема я вытащил в из NoSQL источника данных (JSON из MongoDB) имеет целевую