cluster-computing

1зной

2ответ

При использовании qsub для отправки заданий, как я могу включить локально установленные пакеты python?

У меня есть учетная запись в суперкомпьютерном кластере, где я установил некоторые пакеты, используя, например, "pip install --user keras". При использовании qsub для отправки заданий в очередь, я пыт

0зной

1ответ

Ошибка при запуске приложения для ускоренного кинезирования в режиме кластера (Amazon EMR)

У меня возникли серьезные проблемы с попыткой запустить потоковое приложение с искровым кинезитом в кластер EMR Amazon (1 мастер, 3 сотрудника). То, что я пытаюсь достичь, - это создать банку FAT с по

0зной

1ответ

PBS держит прерывании мои работы

Я запрашиваю 14 процессоров от одного одного (каждый из них имеет 32), как это: #PBS -l nodes=1:ppn=14 #PBS -l walltime=12:00:00 И с более низким ppn он почти всегда работает, но как только я полу

9зной

1ответ

Spark rdd.count() дает непоследовательные результаты

Я немного озадачен. Простой rdd.count() дает разные результаты при запуске несколько раз. Вот код я бегу: val inputRdd = sc.newAPIHadoopRDD(inputConfig, classOf[com.mongodb.hadoop.MongoInputFormat],

0зной

1ответ

Нужно ли иметь файлы конфигурации во всех мастерах мезоса?

Я запускаю кластер мезос с 3 мезос мастерами. Я включил проверку подлинности и сохранил файл credentials.json в одном из главных. Я хотел бы знать, должен ли мы помещать этот файл во все 3 мезосмейсте

5зной

2ответ

Что означает искра exitCode: 12 означает?

Я пытаюсь запустить искровое приложение, написанное в scala 11.8, искра 2.1 на кластере EMR версии 5.3.0. я настроил кластер со следующим: JSON [ { "Classification": "hadoop-env", "Conf