rdd

5зной

1ответ

Как разделы разбиваются на задачи в Spark?

Если я разбиваю RDD на 60, и у меня есть в общей сложности 20 ядер, распределенных по 20 машинам, то есть 20 экземпляров одноядерных машин, тогда число задач равно 60 (равно количеству разделов). Поче

9зной

1ответ

как интерпретировать RDD.treeAggregate

я столкнулся this line в источнике Apache коды Спарка val (gradientSum, lossSum, miniBatchSize) = data .sample(false, miniBatchFraction, 42 + i) .treeAggregate((BDV.zeros[Double](n), 0.0, 0L

4зной

1ответ

Apache Spark Разделение и присоединение к RDD

Когда я s, где находятся фактические данные, то есть данные, агрегированные по драйверу, а затем отправленные обратно на рабочие узлы или один из узлов, случайно выбранных для " получать "данные? Кром

-2зной

1ответ

Как вычесть RDD [(Key, Object)] из другого?

Я хочу изменить формат своих данных, из RDD (Ярлык: String, (ID: String, Data: Array [Double])) в объект RDD с меткой, идентификатором и данными в качестве компонентов. Но когда я печатаю мой RDD посл

19зной

4ответ

Вычисление средних значений для каждого KEY в Pairwise (K, V) RDD в Spark с Python

Я хочу поделиться этим конкретным Apache Spark с решением Python, потому что документация для него довольно плохая. Я хотел рассчитать среднее значение пар K/V (хранящихся в Pairwise RDD), с помощью K

4зной

1ответ

Apache Spark SQL - RDD In-Memory Data Skew

Я пытаюсь кэшировать таблицу Hive в памяти с помощью CACHE TABLE tablename; После этой команды таблица успешно кэшируется, однако я заметил перекос в том, как RDD разбивается на разделы в памяти. Вот

5зной

2ответ

Как добавить новый столбец в Spark RDD?

У меня есть RDD с МНОГИЕ столбцы (например, сотни), как добавить еще один столбец в конце этого RDD? Например, если мой РДД, как показано ниже: 123, 523, 534, ..., 893 536, 98, 1623, ..., 98472

0зной

1ответ

фильтрация нулевых значений из RDD <Vector> искра

У меня есть набор данных из двух частей в виде JavaRDD. Я хочу удалить строки (вектор), содержащие нулевые значения. Я собирался использовать функцию фильтра, чтобы сделать это, но не могу понять, как