apache-spark-dataset

1зной

3ответ

Как разобрать многострочный JSON в наборе данных Apache Spark Java

Есть ли способ, чтобы разобрать многострочный файл JSON с помощью Dataset здесь приведен пример кода public static void main(String[] args) { // creating spark session SparkSession spark =

0зной

1ответ

Создание Спарк набора данных с частями другого набора данных

Я пытаюсь создать новый набор данных, беря интервалы из другого набора данных, например, рассматривать DataSet1 в качестве входных данных и dataset2 как выход: dataset1 = [1, 2, 3, 4, 5, 6] dataset2

1зной

1ответ

Spark DataSet date time parsing

Как правильно выполнять симуляцию времени на дату с API-интерфейсом spark 2.0 dataset API? Есть много образцов для кадра данных/РДД как Spark date parsing Better way to convert a string field into tim

0зной

1ответ

Соединение DataFrame/Dataset не дает правильных результатов в Spark 2.0/Yarn

У нас есть кластер с Apache Spark 2.0 на Hadoop 2.7.2, Centos 7.2. Мы написали новый код, используя API Spark DataFrame/DataSet, но замечаем неправильные результаты в соединении после записи и затем с

1зной

2ответ

Spark: Как DataFrame быть Dataset [Строка], если DataFrame нам иметь схему

В this article он утверждает, что в искриться DataFrame эквивалентно Dataset[Row], но в this blog post это показано, что DataFrame имеет схему. Возьмем, к примеру в блоге преобразования РДУ в DataFram

3зной

1ответ

Spark 2.0 DataSets groupByKey и деление операции и безопасности типов

Я очень доволен Spare 2.0 DataSets из-за его безопасности типа времени компиляции. Но вот пара проблем, которые я не могу решить, я также не нашел для этого хорошей документации. Проблема № 1 - операц

1зной

2ответ

Apache Spark обновляет строку в RDD или Dataset на основе другой строки

Я пытаюсь понять, как я могу обновить некоторые строки на основе другой строки. Например, у меня есть некоторые данные, такие как Id | useraname | ratings | city -------------------------------- 1,

3зной

1ответ

Как преобразовать строку rdd в типизированный rdd

Можно ли преобразовать RDD RDD в Typed RDD. В коде ниже, можно преобразовать строку JavaRDD в счетчиковых JavaRDD код: JavaRDD<Counter> rdd = sc.parallelize(counters); Dataset<Counter> ds = sqlContex

0зной

1ответ

Apache Спарк РДД замена

Я пытаюсь решить проблему таким образом, что у меня есть массив данных, как это: (1, 3) (1, 4) (1, 7) (1, 2) <- (2, 7) <- (6, 6) (3, 7) <- (7, 4) <- ... С (1 -> 2) и (2 -> 7), я хотел бы за

2зной

1ответ

Выбор случайных столбцов для каждой группы pyspark RDD/dataframe

В моем кадре данных, полученном 10,0000 столбцов, я должен применить некоторую логику для каждой группы (ключ - регион и отдел). Каждая группа будет использовать максимум 30 столбцов из столбцов 10k,