spark-dataframe

1зной

2ответ

Подсчитайте количество ненулевых значений в Spark DataFrame

У меня есть кадр данных с некоторыми столбцами, и перед выполнением анализа я хотел бы понять, насколько полный такой кадр данных, поэтому я хочу отфильтровать фрейм данных и подсчитайте для каждого с

1зной

1ответ

В Спарке 2.0, JDBC dataframes схема применяется автоматически, как обнуляемые = ложь

Для JDBC dataframes если указать пользовательский запрос, как (select * from table1 where col4 > 10.0) AS table1 тогда схема для всех столбцов оказывается обнуляемыми = ложь col1: string (nullable =

0зной

1ответ

Проблема с меткой времени Java в Scala - java.lang.IllegalArgumentException Получена ошибка

Добрый вечер. Я выполняю сравнительную работу по работе с RDD, Dataframes и наборами данных в Spark 2.1.0 (используя встроенную Scala 2.11.8). Я загрузил некоторые свободно доступные данные из https:/

0зной

1ответ

Карта на DataSet выполнение дважды во время операции подсчета даже DataSet имеет схему

DsDetails содержит одну запись, но внутри логики (API) в карте вызова два раза, потому что выполнение счета) операции (Есть ли способ, который может контролировать итерации этого карту или как предотв

3зной

1ответ

Выберите столбец по имени с несколькими агрегатных колоннами после поворота с искрой Scala

Я пытаюсь объединить multitple столбцы после поворота в Scala Спарк 2.0.1: scala> val df = List((1, 2, 3, None), (1, 3, 4, Some(1))).toDF("a", "b", "c", "d") df: org.apache.spark.sql.DataFrame = [a:

0зной

1ответ

Фильтрация на основе значения ключа в искровом информационном кадре

У меня есть столбец в моей базе данных/dataframe, который представляет собой пару ключевых значений. Я хочу фильтровать данные на основе определенного значения. Говорите только те строки со значением

0зной

1ответ

Функция запаздывания оконного окна Spark Data на базе нескольких столбцов

val df = sc.parallelize(Seq((201601, 100.5), (201602, 120.6), (201603, 450.2), (201604, 200.7), (201605, 121.4))).toDF("date", "volume") val w = org.apache.spark.sql.expressions.