apache-spark

0зной

1ответ

Do Спарк tranformation и действия задачи работают на одной и той же сериализованном копии кода

Предположим, у меня есть следующие: rdd.mapPartition (Func). Когда это выполняется исполняемыми задачами внутри исполнителя, они получают только одну сериализованную копию функции или каждая задача по

2зной

1ответ

Агрегация Spark Dataset, аналогичная агрегату RDD (ноль) (накопитель, сумматор)

RDDRDD имеет очень полезную совокупность методов, которая позволяет накапливать нулевое значение и комбинировать его между разделами. Есть ли способ сделать это с помощью Dataset[T]. Насколько я вижу

0зной

1ответ

Как сделать работу библиотеки Python на Spark YARN

Если я хочу использовать библиотеку python для конкретной задачи, например NLTK или BeautifulSoup, я могу это сделать, когда я использую Spark на моей локальной машине, но то же самое не делает работа

1зной

1ответ

Группа элементов в списке

У меня есть список (в Scala). val seqRDD = sc.parallelize(Seq(("a","b"),("b","c"),("c","a"),("d","b"),("e","c"),("f","b"),("g","a"),("h","g"),("i","e"),("j","m"),("k","b"),("l","m"),("m","j"))) Я гр

0зной

1ответ

spark sql no parse rules error

Когда я запускаю какой-то запрос с помощью sql sql (hivecontext), он жалуется, как показано ниже. какой синтаксис вызовет это? Я использую искру 1.6 и улей 1.2 Я понятия не имею. Похоже, что ваше сооб