rdd

1зной

1ответ

PySpark DataFrame Манипуляция Эффективность

Предположим, что у меня есть следующий кадр данных: +----------+-----+----+-------+ |display_id|ad_id|prob|clicked| +----------+-----+----+-------+ | 123| 989| 0.9| 0| | 123| 990| 0.8| 1| |

0зной

4ответ

Выполнение операций RDD на DataFrames

У меня есть набор данных из 10 полей. Мне нужно выполнить операции RDD на этих DataFrame. Можно ли выполнять операции РДД как map, flatMap и т.д .. вот мой пример кода: df.select("COUNTY","VEHICLES").

0зной

2ответ

Apache Спарк Cache не работает должным образом

Я бегу очень простую программу, которая подсчитывает слова в S3 Files JavaRDD<String> rdd = sparkContext.getSc().textFile("s3n://" + S3Plugin.s3Bucket + "/" + "*", 10); JavaRDD<String> words = r

3зной

1ответ

Scala Spark rdd комбинация в файле для сопоставления пар

Я изучаю Spark + Scala, и я застрял в этой проблеме. У меня есть две вещи. Один файла, который содержит много слов (я покажу вам, например, в 2 первых строки): scala> val text = sc.textFile("hdfs://ma

1зной

1ответ

Использования редактирования разделов в Спарке

Hy, У меня есть вопрос о разделении в Спарке, в Обучение искры книги, авторы сказали, что разделение может быть полезно, как, например, во время PageRank на странице 66, и они пишут: поскольку ссылки

0зной

1ответ

искра удалить дубликаты в каждом текстовом файле

Я смотрю на стандартный или предпочтительный способ сделать это: У меня есть несколько текстовых файлов, каждый из формата: file1: word1 tag1 0.5 word1 tag2 0.4 word2 tag2 0.6 file2: word1 tag3 0.