spark-dataframe

2зной

1ответ

Split Спарк DataFrame основан на состоянии

мне нужно что-то похожее на функцию randomSplit: val Array(df1, df2) = myDataFrame.randomSplit(Array(0.6, 0.4)) Однако мне нужно разделить myDataFrame на основе булева состояния. Имеются ли что-нибу

2зной

1ответ

Как «плотный» кадр данных в Спарк

У меня есть кадр данных выглядит следующим образом: item_id week_id sale amount 1 1 10 1 2 12 1 3 15 2 1 4 2 2 7 2 3 9 Я хочу, чтобы преобразовать эту dataframe в новый

1зной

1ответ

Как мы можем создавать вложенные массивы в scala из dataframe?

У меня есть DataFrame с тремя столбцами; Как преобразовать его во вложенный массив в Scala - Array[Array[Double]]? Я получаю Array[(Double, Double)] когда я пытаюсь к карте: val x= dataframe.select("t

1зной

3ответ

Использование stat.bloomFilter в Spark 2.0.0 для фильтрации другого фрейма данных

У меня есть два больших dataframes [a], у которых есть все события, идентифицированные id [b] списком идентификаторов. Я хочу фильтровать [a] на основе идентификаторов в [b], используя реализацию stat