rdd

1зной

1ответ

Я работаю над RDD, я застрял в соответствии с тем, как итерации по столбцам в одном кортеже посредством циклов. Например, что-то похожее на следующее: def doSomething(rdd: RDD[(Int, Int, Int)], col: I

12зной

2ответ

Как получить положение элемента в RDD Spark?

Я новичок в Apache Spark, и я знаю, что основная структура данных - это RDD. Теперь я пишу некоторые приложения, для которых требуется информация о позициях элемента. Например, после преобразования Ar

0зной

1ответ

Как найти количество ключей, созданных в части карты?

Я пытаюсь написать приложение Spark, которое найдет мне количество ключей, которые были созданы в функции map. Я не мог найти никакой функции, которая позволила бы мне это сделать. Один из способов, п

19зной

1ответ

Преобразование простой строки из одной строки в РДУ в Спарк

У меня есть простая линия: line = "Hello, world" Я хотел бы, чтобы преобразовать его в РДУ только с одним элементом. Я попытался sc.parallelize(line) Но получить: sc.parallelize(line).collect() [

4зной

1ответ

Тонкозернистая трансформация против крупнозернистых преобразований

Может ли кто-нибудь объяснить разницу между мелкозернистой трансформацией и крупнозернистыми преобразованиями в контексте искры? Я читал статью о RDD (https://www.cs.berkeley.edu/~matei/papers/2012/ns

12зной

2ответ

Как отменить порядок для RDD.takeOrdered()?

Что такое синтаксис для отмены порядка для метода takeOrdered() для RDD в Spark? Что такое бонусные баллы, каков синтаксис пользовательского заказа для RDD в Spark?

0зной

1ответ

Как поступить с картами RDD [(Int, Int)]?

Я реализую k-mean с помощью Spark самостоятельно, как упражнение. Для этого мне нужно сравнить 2 карты id -> cluster_id на каждом шагу. В настоящее время я делаю это, собирая оба из них и сравнивая их