rdd

1зной

2ответ

Spark выполняет задачу с недостаточным параллелизмом

Я начинаю в Spark, и я немного запутался в поведении Spark. Я разрабатываю алгоритм в Scala, в этом методе я создаю RDD с количеством разделов, указанных пользователем таким образом: val fichero = sc.

0зной

1ответ

Искриться по RDD сгруппированных по клавишам

Я должен разработать приложение Spark, мне нужно использовать Spark 1.3, и поэтому я не могу использовать функции окна. Я выбрал итерацию по отдельным группам элементов, создав группировку по ключу rd

0зной

1ответ

Регулярное выравнивание всех пробелов до и после разделителя Spark Scala

Я читаю текстовый файл с разделителями с искровой scala. Я пытаюсь создать обрезку регулярного выражения для всего, прежде чем разделитель ~ и все после. В настоящее время у меня есть место, где все п

0зной

1ответ

Агрегатная функция на искровом RDD типа RDD [String, Int, String]

Мы пытаемся использовать функцию агрегации на RDD. Где РДД в виде РДУ [Strng, Int, String] Учитывая перечень элементов, List(("Amit1",45,"M"),("Amit2",43,"M"),("Amit3",28,"F"),("Amit4",33,"F"),("Amit5

0зной

1ответ

Есть ли функция API для отображения «Fraction Cached» для RDD?

На Хранение вкладка пользовательского интерфейса приложения PySparkShell ([server]: 8088) Я могу видеть информацию о RDD, которую я использую. Один из столбцов: Фракция Кэшированная. Как я могу получи