rdd

0зной

1ответ

Я пытаюсь понять данный журнал, созданный программой Spark

Я пытаюсь понять выход журнала, созданный данной простой программой. Нужна помощь для понимания каждого шага или ссылки на такую запись, было бы хорошо. Команда sc.parallelize (Array (("а", 1), ("б"

2зной

2ответ

Spark: Как RDD.map/mapToPair работа с Java

У меня есть несколько пар Cw (Integer я, Струнный слово) я число вхождений слова в текстовом файле. Я хотел бы просто иметь для каждой пары новую пару c1 (Integer i, 1) с 1 фиксированным числом. Кажет

0зной

2ответ

Pyspark Use groupByKey/mapValues несколько раз в одной строке

Я использую PySpark, и я ищу способ использовать более одного раза метод groupByKey/mapValues. Дано: rdd = sc.parallelize([(u'04896f3765094732a478ba63dd42c785', u'2016-01-01', u'2'

0зной

1ответ

Форматирование данных для искры ML

Я новичок в искры и искры ML. Я генерирую некоторые данные с помощью функции KMeansDataGenerator.generateKMeansRDD, но я не могу форматировать их, чтобы затем их можно было использовать алгоритмом ML

1зной

2ответ

Apache Spark: в PairFlatMapFunction, как добавить кортежи обратно в Iterable <Tuple2 <Integer, String >> return type

Я новичок в искру. Я работал над кодом, включающим два набора данных. Поэтому я начал с PairFlatMapFunction, в котором я делаю обработку картографа. JavaPairRDD<Integer, String> trainingArray = traini

0зной

2ответ

Как слить два RDD на один RDD

Помогите, у меня есть два RDD, я хочу объединиться с одним RDD. Это мой код. val us1 = sc.parallelize(Array(("3L"), ("7L"),("5L"),("2L"))) val us2 = sc.parallelize(Array(("432L"), ("7123L"),("513L"),

0зной

2ответ

Scala Spark - Для цикла в рамке данных и сравнить даты

У меня есть кадр данных, который имеет 3 колонки, как это: --------------------------------------------- | x(string) | date(date) | value(int) | --------------------------------------------- Я хоч