Как профайл R-код, который включает SNOW-кластер

Question

У меня есть вложенный цикл, который я использую foreach, DoSNOW и кластер сокетов SNOW для решения. Как мне следует профилировать код, чтобы убедиться, что я не делаю что-то очень неэффективное.

Также есть ли способ измерения потоков данных между мастером и узлами в кластере снега?

Спасибо,

Джеймс

Answer 1

Это отличный вопрос. Из верхней части моей головы, начните с сравнением между

• серийным раствором (без снега),
• серийный раствор со снегом (чтобы получить представление о накладных расходах) и
• параллельного решения может быть контролируя N, чтобы узнать, какой тип увеличения вы получите.

В версиях 0,3.4 от snow, не выпущенных на CRAN, также имеются дополнительные команды построения графика, которые полезны для анализа. Вы можете получить его от this directory at Luke Tierney's site.

Настоящий профилирование, конечно, hard с учетом распределенной природы.