rdd

1зной

2ответ

У меня есть RDD формы: t1-> (Long, List[Long]) и список формы t2-> List[Long] мне нужно выполнить объединение и пересечение списков. Я пробую следующий код: val t1 = a.map(x => (x._1, (List(x._2))

2зной

1ответ

Spark zipPartitions на том же RDD

Я довольно новичок с Spark, и у меня есть некоторые проблемы при выполнении чего-то вроде cartesian, но только в том же разделе. Возможно, пример может ясно показать, что я хочу сделать: предположим,

2зной

1ответ

OFF_HEAP rdd был удален автоматически Tachyon после выполнения искрового задания

Я запускаю искровое приложение, оно использует StorageLevel.OFF_HEAP для сохранения rdd (мой тахион и искра оба находятся в локальном режиме). так: val lines = sc.textFile("FILE_PATH/test-lines-1") v

1зной

3ответ

Плохая обработка производительности пары RDD с очень искаженными данными

У меня есть пара RDD с миллионами пар ключ-значение, где каждое значение представляет собой список, который может содержать один элемент или миллиарды элементов. Это приводит к низкой производительнос

3зной

1ответ

Apache Spark RDD - не обновляется

Я создаю PairRDD, который содержит вектор. var newRDD = oldRDD.mapValues(listOfItemsAndRatings => Vector(Array.fill(2){math.random})) Позже я обновить RDD: newRDD.lookup(ratingObject.user)(0) += 0.2 *