Лучшая альтернатива pmap в Clojure для параллелизации недорогостоящих функций над большими данными?

Question

Использование clojure У меня есть очень большой объем данных в последовательности, и я хочу обрабатывать его параллельно, с относительно небольшим количеством ядер (от 4 до 8).

Проще всего сделать, это использовать pmap вместо map, чтобы отобразить свою функцию обработки над последовательностью данных. Но координационные накладные расходы приводят к чистым убыткам в моем случае.

Я думаю, причина в том, что pmap предполагает, что функция, отображаемая по данным, очень дорога. Глядя на исходный код pmap, он, по-видимому, создает future для каждого элемента последовательности, поэтому каждый вызов функции происходит в отдельном потоке (циклическое число доступных ядер).

Вот соответствующая часть источника PMAP в:

(defn pmap 
    "Like map, except f is applied in parallel. Semi-lazy in that the 
    parallel computation stays ahead of the consumption, but doesn't 
    realize the entire result unless required. Only useful for 
    computationally intensive functions where the time of f dominates 
    the coordination overhead." 
    ([f coll] 
    (let [n (+ 2 (.. Runtime getRuntime availableProcessors)) 
     rets (map #(future (f %)) coll) 
     step (fn step [[x & xs :as vs] fs] 
       (lazy-seq 
       (if-let [s (seq fs)] 
        (cons (deref x) (step xs (rest s))) 
        (map deref vs))))] 
    (step rets (drop n rets)))) 
    ;; multi-collection form of pmap elided 

В моем случае отображается функция не так дорого, но последовательность огромна (миллионы записей). Я думаю, что стоимость создания и разыменования многих фьючерсов заключается в том, что параллельный выигрыш теряется в накладных расходах.

Насколько я понимаю, pmap?

Есть ли лучший образец в clojure для такого рода более низкой стоимости, но массово повторяется обработка, чем pmap? Я рассматриваю последовательность данных как-то, а затем запускаю потоки на более крупные куски. Является ли это разумным подходом и какие идиомы clojure будут работать?

Answer 1

Этим вопросом: how-to-efficiently-apply-a-medium-weight-function-in-parallel также решает эту проблему в очень похожем контексте.

Текущий лучший ответ - использовать partition, чтобы разбить его на куски. затем pmap функция отображения на каждый кусок. затем рекомбинируйте результаты. Карта-свертка-стиль.

Answer 2

Вы можете использовать какую-либо карту/сокращение, реализованное вручную. Также взгляните на схему swarmiji.

«распределенная вычислительная система, которая помогает писать и работает код Clojure параллельно - между ядрами и процессорами»

Answer 3

К сожалению, еще не верный ответ, но что-то, что нужно посмотреть в будущем, - это работа Рича с библиотекой fork/join, приходящая на Java 7. Если вы посмотрите на свою ветку Par в github, он проделал некоторую работу с ней и В последний раз я видел, как ранние возвращения были потрясающими.

Пример использования Rich.

http://paste.lisp.org/display/84027

Answer 4

Вилка/присоединиться к работе, упомянутые в предыдущих ответах на этом и аналогичных нитей в конечном итоге принесло свои плоды, как reducers библиотека, которая, вероятно, стоит посмотреть.