apache-spark

5зной

2ответ

Понимание распределения ресурсов для искровых заданий на mesos

Я работаю над проектом в Spark и недавно переключился с использования Spark Standalone в Mesos для управления кластерами. Теперь я смущен тем, как распределять ресурсы при отправке задания в новой сис

2зной

1ответ

Удалить Jars из пути класса Spark

Я использую ElasticSearch Spark Jar. Но по какой-то причине, когда я начинаю мой sparkcontext, он также поднимает эластичный улей банку с /usr/lib/hive/lib/elasticsearch-hadoop-hive-2.1.0.jar Это вызы

0зной

1ответ

Найти пользователя, который подал заявку на пряжу, используя Java API

Мне нужно получить информацию о пользователе, который представил приложение Yarn в кластере с помощью Java. я могу просмотреть эти детали из CLI с помощью yarn application -list Это дает список дета

5зной

2ответ

PySpark 1.5 Как сократить временную метку до ближайшей минуты с секунд

Я использую PySpark. У меня есть столбец ('dt') в dataframe ('canon_evt'), что это временная метка. Я пытаюсь удалить секунды из значения DateTime. Он изначально читается из паркета как String. Затем

0зной

2ответ

Как использовать карту/лямбда внутри карты/лямбда в pyspark?

У меня есть список списков вроде этого: b = [['r','w'],['n','finished']] Я хотел бы иметь возможность работать на каждом элементе в пределах каждого списка. Я могу это сделать локально в питоне: res

0зной

1ответ

java.lang.NoClassDefFoundError: org/apache/spark/SparkConf

У меня есть веб-страница, когда я выбираю параметр со страницы, Он вызовет сервлет и выполнит триант-аналитические запросы. Но я получил исключение java.lang.NoClassDefFoundError: орг/апач/искра/Spark

2зной

1ответ

индексирование в elasticsearch с использованием искры в автономном режиме

Я хочу индексировать в elasticsearch от искры. Он бросает следующее исключение ... org.apache.spark.SparkException: Работа прервана из-за сбоя этапа: задачи 0 в стадии 1.0 не удалось 1 раз, последний

0зной

1ответ

scala: как использовать класс как переменную

Можно ли ссылаться на разные классы на каждом проходе итерации? У меня есть значительное количество таблиц Hadoop Hive и будет обрабатывать их с помощью Spark. Каждая из таблиц имеет автоматически сге

0зной

1ответ

Может ли исполнители разделить ядра в искры?

При настройке искрового задания я иногда видел, что люди предполагают, что количество ядер на каждого исполнителя больше, чем общее количество ядер, деленное на количество исполнителей. Следует отмети