apache-spark

0зной

1ответ

Почему я не могу соединиться с метафорой улья, используя искру apache?

Я пытаюсь соединиться с улей apache с помощью apache spark с помощью java-программы. Вот программа: import org.apache.spark.sql.SparkSession; public class queryhive { public static void main(S

0зной

2ответ

Соедините два кадра данных, суммируйте значения и получите максимум

У меня есть два файла данных .txt. Первый содержит два столбца (фильм, кино), а второй - два столбца (фильм, зрители), как показано в примере ниже. То, что я хочу сделать, - это найти фильм, который б

12зной

2ответ

Как разбить и написать DataFrame в Spark без удаления разделов без новых данных?

Я пытаюсь сохранить DataFrame в HDFS в формате паркета с использованием DataFrameWriter, распределяли тремя значениями столбцов, например: dataFrame.write.mode(SaveMode.Overwrite).partitionBy("eventda

0зной

1ответ

Управление зависимостями на python с искрою на google cloud dataproc

Я написал скрипт Spark, который зависит от six и различных других пакетов python. $ cat ./test_package/__init__.py from six.moves.urllib.request import urlopen def download_size(url): return l

1зной

1ответ

Spark Как RDD [JSONObject] в набор данных

Я читаю данные из RDD элемента типа com.google.gson.JsonObject. Попытка конвертировать это в DataSet, но не знаю, как это сделать. import com.google.gson.{JsonParser} import org.apache.hadoop.io.Long