rdd

24зной

3ответ

Как получить элемент по индексу в Spark RDD (Java)

Я знаю метод rdd.first(), который дает мне первый элемент в RDD. Также существует метод rdd.take (num), который дает мне первые «num» элементы. Но разве нет возможности получить элемент по индексу? Сп

3зной

1ответ

Spark Scala scala.util.control.Exception catching and dropping Нет на карте

Я пишу приложение Spark в scala и хочу обрабатывать грязный входной файл. // CSV file val raw_data = sc.textFile(...) val clean_data = raw_data.map(_.split(delimiter)) .map(r => (r(0), r(1).to

3зной

1ответ

Spark: Как разделить РД [T] `в Seq [РДД [T]] и сохранить заказывающую

Как я могу эффективно дробить в RDD[T] в Seq[RDD[T]]/Iterable[RDD[T]] с n элементами и сохранить первоначальный порядок? Я хотел бы, чтобы иметь возможность написать что-то вроде этого RDD(1, 2, 3, 4,

17зной

2ответ

Какая функция искры используется для объединения двух RDD по клавишам

Скажем, у меня есть следующие два RDD со следующими значениями пары ключей. rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] и rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ] Те

1зной

1ответ

Как мне сделать, чтобы преобразовать RDD [String] в RDD [(String, String)]?

я получил RDD[String] из файла: val file = sc.textFile("/path/to/myData.txt") формат MyData в: >str1_name ATCGGKFKKVKKFKRLFFVLFLRL FDJKALGFJVKRIKFKVKFGKLRL ... FJDLALLLGL //the last line of str1

3зной

1ответ

как разделить данные rdd на два в искрах?

У меня есть данные в Spark RDD, и я хочу разделить его на две части с такой шкалой, как 0,7. Например, если РДД выглядит следующим образом: [1,2,3,4,5,6,7,8,9,10] Я хочу, чтобы разделить его на rdd1

1зной

1ответ

Нормализация слов с использованием RDD

Возможно, этот вопрос немного странный ... Но я постараюсь спросить его. Все, кто писал приложения с помощью Lucene API, видел что-то вроде этого: public static String removeStopWordsAndGetNorm(String