distributed-computing

2зной

1ответ

Как отправить электронную почту только один раз в распределенной системе

У меня есть система, как это: Узел считывает событие выключения очереди. Письмо с уведомлением отправляется на основе события, используя AWS SES. Сценарии, где могут возникнуть вопросы: Некоторые друг

0зной

1ответ

Проектирование распределенных веб-скребок

Проблема В последнее время я думал о том, как идти о выскабливание содержимого определенной большой, многонациональной веб-сайт, чтобы получить подробные сведения о продуктах предложения компании прод

2зной

1ответ

Spark UI показывает отрицательное количество сеансов SQL

Я развернул Spark-1.5.0 с 3 узлами и работает в автономном режиме. И я использую приложение бережливого актива по умолчанию для Spark Sql. Но после некоторых обычных запросов, когда я вижу свой пользо

1зной

3ответ

Параллелизм без потоков

У меня есть этот единственный монолитный демон, который выполняет несколько операций, таких как взаимодействие с API-интерфейсами с северным интерфейсом, сопряжение с интерфейсами, связанными с югом,

3зной

1ответ

Использование ZooKeeper для управления задачами, которые находятся в процессе или обработаны

У меня есть скрипт python, который периодически сканирует каталоги, обрабатывает новые файлы. Каждый файл занимает много времени (много часов). В настоящее время у меня сценарий работает на одном комп

0зной

1ответ

Что дает Hadoop редукторам?

После experimenting with 2 reducers, чтение HowManyMapsAndReduces из Hadoop Wiki, hadoop: number of reducers remains a constant 4, Hadoop: Number of mappers and reducers и Setting the number of map ta

1зной

1ответ

Разница между slurm sbatch -n и -c

Кластер, с которым я работаю, недавно переключился с SGE на SLURM. Мне было интересно, какая разница между sbatch опциями --ntasks и --cpus-per-task? --ntasks Казалось бы, подходит для некоторых задан