apache-spark

1зной

1ответ

Ошибка выполнения PySpark при загрузке нескольких файлов, а одна отсутствует

При использовании PySpark для загрузки нескольких файлов JSON с S3 я получаю сообщение об ошибке, а Spark-запрос завершается с ошибкой, если файл отсутствует. вызвано следующими причинами: org.apache.

1зной

1ответ

Настройка среды Vairable в режиме реального времени. Google Bigquery

Я пишу большой соединитель запросов google для искры, а под ним используется соединитель gooogle gooop. В настоящее время для соединения google hadoop требуется переменная env Google, указывающая на ф

0зной

1ответ

Одновременное предоставление нескольких искровых приложений (динамическое распределение ресурсов)

Как я могу запустить 2x искрообразования в одно и то же время? У меня простая искра (без дополнительных конфигураций на моем компьютере) с выделенными 4 ядрами. Если я пытаюсь представить приложение,

1зной

2ответ

Как использовать применяемый метод cogroup с функциональной работой в искровом режиме?

Я попытался решить прикладную проблему cogroup. но я действительно не знаю, что ... Если есть два RDD с разными ключами, как в приведенном ниже примере, возможно ли извлечь действительный data1 только

0зной

1ответ

Почему пользовательский интерфейс Spark показывает только 6 ядер на одного работника, в то время как у меня есть больше?

Почему в Spark UI отображаются только 6 ядер доступно на одного работника (не число ядер использовано), в то время как у меня есть 16 на каждой из моих 3 машин (8 гнезд * 2 ядра/гнездо) или даже 32, е

0зной

1ответ

Спарк combineByKey на значениях, которые содержат кортежи

Так что у меня искры RDD, который содержит значение следующего вида RDD[(Key:Int, (val1:Double, val2:Double))] Для примера (1,(1,1)) (1,(1,2)) (1,(1,3)) (1,(1,4)) (1,(1,5)) (2,(1,1)) (2,(1,2))

1зной

2ответ

Преобразование световых данных в формат org.apache.spark.rdd.RDD [org.apache.spark.mllib.linalg.Vector]

Я очень новичок в scala и spark 2.1. Я пытаюсь вычислить корреляцию между многими элементами в кадре данных, который выглядит следующим образом: item_1 | item_2 | item_3 | item_4 1 | 1 | 4 | 3