spark-dataframe

2зной

1ответ

Спарк: взрывать dataframe массив структур и добавить идентификатор

Я в настоящее время dataframe с идентификатором и столбца, который массив структур: root |-- id: integer (nullable = true) |-- lists: array (nullable = true) | |-- element: struct (containsNull = t

1зной

1ответ

Как написать Spark UDAF, который просто делает сборку строк?

Привет, для моего конкретного требования, я хочу написать UDAF, которые просто собирают все входные строки. Входные данные представляют собой строки из двух столбцов, Double Type; Промежуточные схемы,

0зной

1ответ

Spark Streaming: использование внешних данных во время преобразования потока

У меня есть ситуация, когда я должен фильтровать точки данных в потоке на основе некоторого состояния, связанного с ссылкой на внешние данные. Я загрузил внешние данные в Dataframe (так что я получаю

2зной

1ответ

О том, как добавить новый столбец в существующий DataFrame со случайными значениями в Scala

У меня есть dataframe с паркетным файлом, и мне нужно добавить новый столбец с некоторыми случайными данными, но мне нужны эти случайные данные друг для друга. Это мой фактический код и текущая версия

1зной

2ответ

Spark Job для вставки данных в Cassandra

Я пытаюсь записать данные в таблицы Cassandra, используя Spark на Scala. Иногда задача искры прерывается между ними и есть частичная запись. Отскакивает ли Spark частичная запись при первом запуске но