rdd

2зной

1ответ

Spark-Не удается получить первый элемент в JavaRDD с использованием first()

Использование spark и его Java API. Я загрузил данные в JavaRDD<CustomizedDataStructure>, как это: JavaRDD<CustomizedDataStructure> myRDD; И когда я делаю: myRDD.count(); возвращает значение для м

19зной

2ответ

Как обновить RDD?

Мы разрабатываем инфраструктуру Spark, в которой мы перемещаем исторические данные в наборы RDD. В принципе, RDD является неизменным, только для чтения данных, на котором мы выполняем операции. Исходя

1зной

2ответ

Может ли уменьшитьBykey использоваться для изменения типа и объединения значений - Scala Spark?

В коде ниже я пытаюсь объединить значения: val rdd: org.apache.spark.rdd.RDD[((String), Double)] = sc.parallelize(List( (("a"), 1.0), (("a"), 3.0), (("a"), 2.0) )) val red

5зной

2ответ

Как превратить известный структурированный RDD в вектор

Предполагая, что у меня есть RDD, содержащий (Int, Int) кортежи. Я хочу превратить его в вектор, где первый Int в кортеже является индексом, а второй - значением. Любая идея, как я могу это сделать? Я

1зной

1ответ

Spark: Как использовать метод соединения?

Теперь у меня есть 2 RDD, но когда я набрал «.join», моя IDE не смогла найти этот символ, он сказал мне «Невозможно разрешить объединение символов». Я уже использовал maven для создания моей функции п

2зной

2ответ

Разъем Spark/Cassandra/Datastax: как отладить контент JavaRDD?

Я установил на своем ноутбуке небольшой 3-разрядный искровой кластер с инструментами DSE 4.6 и ccm. Я создал базовое пространство ключей (ks) и таблицу (цепочку), где я сохранил строки. Я написал осно

6зной

2ответ

Как получить n-й ряд Spark RDD?

Предположим, что у меня есть RDD произвольных объектов. Я хочу получить 10-ю (скажем) строку RDD. Как мне это сделать? Одним из способов является использование rdd.take (n), а затем доступ к n-му элем