узел js кластеризация повторяет одну и ту же задачу для всех 8 процессов

Question

Я пытался включить кластеризацию в моем приложении js для узла. В настоящее время я использую этот фрагмент кода, чтобы включить его:

var cluster = require('cluster'); 

if (cluster.isMaster) { 
    // Count the machine's CPUs 
    var cpuCount = require('os').cpus().length; 

    // Create a worker for each CPU 
    for (var i = 0; i < cpuCount; i += 1) { 
    cluster.fork(); 
    } 

    // Listen for dying workers 
    cluster.on('exit', function() { 
    cluster.fork(); 
    }); 
} 

И в основном мой код выполняет запись в виде Firebase базы данных на основе условий. Проблема в том, что записи происходят по 8 раз каждый, а не один рабочий, просто заботящийся о одной задаче записи, кажется, что все потоки выполняют все задачи. Есть ли способ избежать этого? Если да, может кто-нибудь указать мне в сторону некоторых ресурсов на это? Я не могу найти что-либо в google для использования Firebase с кластером узлов js. Вот пример того, как один из моих функций работы (см моего firebase ссылки):

ref.child('user-sent').on('child_added', function(snapshot) { 

      var message = snapshot.child('message'); 

      payload['user-received/'] = message; 

      ref.update(payload); // this occurs once for each fork so it updates 8 times 
    }); 

Answer 1

Если вы нерест 8 потоков и каждый поток присоединяет слушатель на то же место (user-sent), то каждый thread будет запускать событие child_added для каждого дочернего объекта в этом месте. Это ожидаемое поведение.

Если вы хотите реализовать рабочую очередь, где каждый узел под user-sent обрабатывается только одним потоком, вам придется использовать механизм распределения работы, который гарантирует, что только один поток может претендовать на каждый узел.

firebase-queue library реализует такой механизм подачи заявки, используя транзакции базы данных Firebase. Он используется для масштабирования для небольшого и среднего числа рабочих (думаю, < 10, а не десятки).