Parallelize LIBSVM на многоядерном компьютере - Java

Question

Я использую java-версию libsvm для многих проблем с интеллектуальным анализом данных. Однако я заметил, что даже когда у нас многоядерный компьютер, libsvm использует только одно ядро, он не распараллеливает проблему. Когда я искал в FAQ, было решение C++ [http://www.csie.ntu.edu.tw/~cjlin/libsvm/faq.html#f432]. Существующий класс Java выглядит следующим образом.

@Override 
float[] get_Q(int i, int len) 
{ 
    float[][] data = new float[1][]; 
    int start, j; 
    if ((start = cache.get_data(i, data, len)) < len) 
    { 
     for (j = start; j < len; j++) 
     { 
      data[0][j] = (float) (y[i] * y[j] * kernel_function(i, j)); 
     } 

    } 
    return data[0]; 
} 

Я использовал ту же концепцию и в java - изменение цикла for get_Q в классе SVC_Q, как показано ниже.

@Override 
float[] get_Q(int i, int len) 
{ 

    float[][] data = new float[1][]; 
    int start, j; 
    if ((start = cache.get_data(i, data, len)) < len) 
    { 
     ExecutorService executorService = Executors.newFixedThreadPool(Runtime.getRuntime() 
       .availableProcessors()); // number of threads 

     for (j = start; j < len; j++) 
     { 
      final int count = j; 
      executorService.submit(new Runnable() 
      { 
       @Override 
       public void run() 
       { 
        data[0][count] = (float) (y[i] * y[count] * kernel_function(i, count)); 
       } 
      }); 

     } 
     executorService.shutdown(); 

    } 
    return data[0]; 
} 

Несмотря на то, что после изменения теперь он использует все ядра в моей машине, результаты уменьшались. Процент корректно классифицированных экземпляров для нового тестового набора снизился с 78% до 58%. И время обучения не уменьшилось. Поэтому, очевидно, я не делаю это правильно. Есть ли способ распараллелить libsvm? Какая ошибка я делаю в своем коде?

Answer 1

Пожалуйста, не пытайтесь распараллелить любой код, если вы не знаете, как писать многопоточный/параллельный код.

В данном конкретном случае, you need to wait for the executor to finish all of its jobs., прежде чем вы вернете результат.

Однако это не означает, что метод kernel_function является потокобезопасным.