apache-spark-sql

4зной

2ответ

искры в пряжке-cluser 'sc' не определено

Я использую искру 1.3.1. Должен ли я объявлять sc, когда искра запускается в режиме кладки пряжи? У меня нет проблем с запуском одной и той же программы python в оболочке искрового python. Вот как я п

0зной

1ответ

Spark sql: запрос с футляром и тысячами столбцов

У меня был стол с две тысячи колонок. Мне нужно изменить несколько данных столбцов на основе столбца флага. tableSchemaRDD.registerAsTable("customer") var results = sqlContext.sql("select *,case when

2зной

2ответ

как запрашивать данные JSON в зависимости от размера JSon массива с искровым SQL

У меня есть JSON, как: { "uin":10000, "role":[ {"role_id":1, "role_level": 10}, {"role_id":2, "role_level": 1} ] } { "uin":10001, "role":[ {"role_id":1, "

3зной

1ответ

Cassandra Bulk Load - NoHostAvailableException

Мы производим ежечасные агрегации, используя Spark SQL и Cassandra на огромных данных. Мы разработали клиент Java, который запускается каждый час, чтобы выполнить агрегацию, используя Spark SQL. Для и

0зной

2ответ

Где документы API для org.apache.spark.sql.cassandra для Spark 1.3.x?

Я пишу работу Spark, которая использует разъем Spark-Cassandra для подключения к Cassandra от искры, а затем запускает запросы на Spark/Cassandra, используя Spark SQL. Мне было интересно, где я могу н

2зной

1ответ

Как сохранить экземпляр SQLContext в жизненном цикле приложения искрового потока?

Я использовал SQLContext в приложении искры потокового, как взрывал: case class topic_name (f1: Int, f2: Int) val sqlContext = new SQLContext(sc) @transient val ssc = new StreamingContext(sc, new D

0зной

1ответ

DSE Cassandra Spark Error

Я потратил весь день, пытаясь понять, как решить это, но не повезло. Каждый раз, когда мой Java-приложение пытается подключиться к моему хозяину DSE Спарк, он выдает ошибку: Association with remote sy