rdd

-3зной

3ответ

Я работаю с искровым rdd. Я должен применить функцию к каждому элементу этого rdd. Когда я звоню rdd.map(x=>function(x)), код не дает желаемого результата, но когда я делаю rdd.collect().foreach(x=>fu

10зной

2ответ

Spark: РДД к списку

У меня есть RDD структура RDD[(String, String)] и я хочу, чтобы создать 2 списков (по одному для каждого измерения РДА). Я попытался использовать rdd.foreach() и заполнить два ListBuffers, а затем п

-2зной

3ответ

Создайте один ряд из многих строк в RDD

Мне нужно преобразовать rdd с двумя строками, из-за rdd с одной строкой. Пример: rdd1=a b мне нужно: rdd2=(a,b) Как я могу сделать этот шаг в pyspark? Вопрос может быть глупым, но я новичок в

0зной

1ответ

искра питон преобразовать RDD кортеж с вложенными кортежей в Сигле кортеж

У меня есть окончательный RDD и выглядит следующим образом: (44, (136.38, 2)) (2, (108.53, 3)) (4, (24.13, 1)) (35, (65.89, 1)) Я хотел бы иметь его в форме: (44, 136.38, 2) (2, 108.53, 3) (4,

-5зной

1ответ

Сумма RDD [Array [Int]] до RDD [Int]

У меня есть RDD массива [Int], и я хочу получить сумму всех элементов в каждом массиве в виде RDD [Int]. Что является лучшим способом для достижения этой

2зной

2ответ

Сортировать по дате Время в scala

У меня есть RDD [org.joda.time.DateTime]. Я хотел бы сортировать записи по дате в scala. ввод - образец данных после применения сбора() ниже - res41: Array[org.joda.time.DateTime] = Array(2016-10-19T0

1зной

1ответ

Ошибка: org.apache.spark.rdd.RDD [(String, Int)] не принимают параметры

age.foreach (Println) 1,5 2,25 3,30 Возраст имеет идентификатор и возраст. Теперь я должен создать как Если (возраст> = 1 & & возраст < 10) "1-10" Else если (возраст> = 10 & & возраст < 20) "10-20