rdd

0зной

1ответ

Сочетание 2 RDD в питоне Spark

У меня есть 2 RDD. Предположим, что rdd1 = {'a', 'b', 'c', 'a', 'c', 'a'}, а rdd2 - вывод KMeans с назначением кластера следующим образом:> rdd2 = {0,0,1 , 1,1,0}. Я хочу, в конце концов, узнать, скол

python apache-spark pyspark rdd k-means 2017-02-04

---

1зной

1ответ

Spark dataset custom partitioner

Не могли бы вы помочь мне найти Java API для перераспределения sales dataset для N паттернов равного размера? В равном размере я имею в виду равное количество строк. Dataset<Row> sales = sparkSession.

java apache-spark spark-dataframe rdd apache-spark-dataset 2017-02-06

---

3зной

2ответ

Spark - все данные попадают в одну секцию после сокращенияByKey

У меня есть эта простая программа искры. Мне интересно, почему все данные попадают в один раздел. val l = List((30002,30000), (50006,50000), (80006,80000), (4,0), (60012,60000), (70006,70000),

apache-spark rdd 2017-02-06

---

3зной

1ответ

Scalatest и Спарк давая «java.io.NotSerializableException: org.scalatest.Assertions $ AssertionsHelper»

Я проверяю искру потокового приложения с помощью «com.holdenkarau.spark-испытательной базы» и scalatest. import com.holdenkarau.spark.testing.StreamingSuiteBase import org.apache.spark.rdd.RDD impor

scala apache-spark serialization rdd scalatest 2017-02-07

---

1зной

1ответ

Как сделать декартовой продукт Spark (1 миллион строк) декартовой продукции со списком (1000 записей) эффективно для создания нового блока данных с 1 миллиардом строк

Я хочу взять каждую строку данных с 1 миллионом строк и сгенерировать 1000 строк из каждой строки, взяв перекрестное произведение со списком, имеющим 1000 записей, тем самым генерируя блок данных с 1

scala apache-spark dataframe rdd 2017-02-07

---

1зной

1ответ

Фильтрация РДД с CustomObject, Тип Несовпадение

У меня есть этот обычай Scala объект (в основном Java POJO): object CustomObject { implicit object Mapper extends JavaBeanColumnMapper[CustomObject] } class CustomObject extends Serializabl

scala apache-spark rdd 2017-02-07

---

0зной

1ответ

Как я могу извлечь и использовать определенные значения в списке в Spark RDD с помощью Python?

Я использую Apache Спарк с Python, и у меня есть RDD кортежей вида: Key (val1, val2, val3) Мне нужно закончить с РДУ рядами образуют похожий: val3, Key, val1, val2 или: val3 (Key, val1, val2) Я попроб

python apache-spark rdd 2017-02-08

---

0зной

1ответ

Java Spark Streaming с Cassandra

Я пытаюсь сделать java искрообразование с помощью Cassandra. Я сделал то же самое с Scala, но я не знаю, как действовать на Java. Веб не дал мне никаких примеров с java spark streaming и Cassandra. Мо

java scala cassandra spark-streaming rdd 2017-02-09

---