rdd

0зной

1ответ

Я использую schemaRDD в scala для некоторых преобразований данных. При использовании запроса на обновление так же, как контекст SQL, как этот пример UPDATE users SET email = '[email protected]' WHERE

1зной

2ответ

Использование Apache-Spark, уменьшить или свернуть RDD в зависимости от состояния

Я работаю с Apache Spark и Scala. У меня есть RDD из String, Int val counts =words.map(word => (word, 1)).reduceByKey((a,b) => (a + b)) Теперь я уменьшил RDD Клав, но я хотел бы добавить еще одну о

3зной

2ответ

Как перенести набор данных в scala?

Я хочу взять Transpose of Dataset в scala? Мой файл CSV есть a,b,c,d e,f,g,h i,j,k,l m,n,o,p Мне нужен результат, как, a,e,i,m b,f,j,n c,g,k,o d,h,l,p

4зной

1ответ

Как использовать RDD в другом методе карты RDD?

У меня есть индекс rdd с именем: RDD [(String, String)], я хочу использовать индекс для работы с моим файлом. Это код: val get = file.map({x => val tmp = index.lookup(x).head tmp }) Вопро

18зной

4ответ

Присоединяйтесь к двум обычным RDD с/без Spark SQL

Мне нужно объединить два обычных RDDs на одном столбце. Логически эта операция эквивалентна операции объединения базы данных из двух таблиц. Интересно, возможно ли это только через Spark SQL или есть

1зной

1ответ

стандартизировать РД

Предположат, у меня есть RDD дублей, и я хочу «стандартизировать» его следующий образом: Compute среднего и SD для каждой седловины Для каждой седловины, вычитать столбец означают, из каждая запись и