apache-spark

1зной

2ответ

Как преобразовать RDD like ((int, int), int) в 3 пары ключ-значение в одной функции карты в искрах?

Прямо сейчас у меня есть RDD в следующем формате ((int, int), int) , и я стараюсь, чтобы преобразовать его в 3-х пар ключ-значение, как (Int, 1). я могу сделать это с помощью 3 карты функции затем с

3зной

2ответ

EMR Spark не удалось сохранить DataFrame в S3

Я использую команду RunJobFlow, чтобы развернуть кластер Spark EMR. Эта команда устанавливает JobFlowRole в роль IAM, которая имеет политики AmazonElasticMapReduceforEC2Role и AmazonRedshiftReadOnlyAc

2зной

1ответ

Спарк: взрывать dataframe массив структур и добавить идентификатор

Я в настоящее время dataframe с идентификатором и столбца, который массив структур: root |-- id: integer (nullable = true) |-- lists: array (nullable = true) | |-- element: struct (containsNull = t

1зной

1ответ

PySpark3 нет атрибута 'tzinfo' ошибки при разборе ГГГГММДДччммсса в TimestampType()

У меня есть этот CSV-файл (test.csv), содержащий следующие: COLUMN_STRING;COLUMN_INT;COLUMN_TIMESTAMP String_Value_1;123456;20131226224757 String_Value_2;234567;20141227234858 String_Value_3;345678

1зной

1ответ

Как написать Spark UDAF, который просто делает сборку строк?

Привет, для моего конкретного требования, я хочу написать UDAF, которые просто собирают все входные строки. Входные данные представляют собой строки из двух столбцов, Double Type; Промежуточные схемы,

3зной

1ответ

Как сохранить список scala для mongodb, используя искру

, поэтому у меня есть искробезопасный код, который извлекает некоторые документы из mongodb, выполняет некоторые преобразования и пытается сохранить его обратно в mongodb. Проблема происходит, когда я