apache-spark-sql

1зной

1ответ

Я занимаюсь трехсторонним объединением с тремя SchemaRDD (каждый из порядка миллиона записей, хранящихся в файлах Parquet на HDFS). Схема выглядит следующим образом: table1 имеет четыре поля: идентифи

1зной

1ответ

Загрузить базу данных PostgreSQL в SchemaRDD

У меня есть источник данных в PostgreSQL с 1 миллионом строк и 100+ столбцов, и я хочу использовать Spark SQL, поэтому я хочу преобразовать этот источник данных, чтобы получить SchemaRDD. два подхода

1зной

1ответ

SparkSQL - CassandraSqlContext запрос о сборе (комплект)

Допустим, у меня есть таблица, как: CREATE TABLE USER ( userid ascii, books set<text> PRIMARY KEY (userid) ); и индекс: create index on USER (books); Я хочу запросить по книгам с по

8зной

2ответ

SparkSQL MissingRequirementError при регистрации таблицы

Я новичок в Scala и Apache Spark, и я пытаюсь использовать Spark SQL. После клонирования repo я начал искровую оболочку, набрав bin/spark-shell и выполните следующее: val sqlContext = new org.apache.s

0зной

2ответ

Схема с SchemaRDD?

Учитывая, что SchemaRDD (загружен с использованием SQLContext.parquetFile), как я могу извлечь его метаданные/схему/список столбцов?

5зной

1ответ

читать json key-values с hive/sql и искру

Я пытаюсь прочитать этот json-файл в таблице улей, клавиши верхнего уровня, то есть 1,2 .., здесь несовместимы. { "1":"{\"time\":1421169633384,\"reading1\":130.875969,\"reading2\":227.138275}",