apache-spark

1зной

1ответ

Объединение нескольких функций GroupBy в 1

Используя этот код, чтобы найти модальный: import numpy as np np.random.seed(1) df2 = sc.parallelize([ (int(x),) for x in np.random.randint(50, size=10000) ]).toDF(["x"]) cnts = df2.groupBy

0зной

1ответ

Использование фильтра Scala внутри операции карты Spark

У меня есть небольшой набор данных твитов, и я хотел удалить имена пользователей из твитов. Я должен удалить все слова, начиная с @, но в последней операции map() следующего кода я получаю java.lang.S

0зной

1ответ

Spark Прямой поток параллельного ограничения работы

Я запускаю прямой поток искры от kafka, где мне нужно запустить много параллельных заданий, чтобы обрабатывать все данные во времени. В искры вы можете установить spark.streaming.concurrentJobs на нес

0зной

1ответ

PySpark: RegisterTempTable Lose Headers

Я читал данные с использованием SQLContext и хотел запустить SQL-запросы на нем. Я получил ошибку. Вот мой код: %pyspark from pyspark.sql import SQLContext sqlCtx = SQLContext(sc) data = sqlCtx.re

0зной

1ответ

Пересечение и объединение двух столбцов в dataframe

1зной

1ответ

сервер истории искры не показывает RDD, даже если он сохраняется

Я запускаю искровую оболочку в искробезопасной версии 2.0.2. Вот моя программа, var myrdd = sc.parallelize(Array.range(1, 10)) myrdd.setName("test") myrdd.cache myrdd.collect Но я до сих пор не в

0зной

1ответ

Как преобразовать JavaPairRDD в Dataset?

SparkSession.createDataset() разрешает только List, RDD, or Seq - но он не поддерживает JavaPairRDD. Так что, если у меня есть JavaPairRDD<String, User>, что я хочу, чтобы создать Dataset из, будет жи