Профилированный скрипт python с mpi4py

Question

У меня есть сценарий python, который использует mpi4py, называемый main_parallel.py. Я могу измерить время, используя time форму cli, но как я могу составить профиль, похожий на cProfile? Мне нравится видеть номер вызова для каждой части кода. Я не могу использовать cProfile, потому что это только для серийного кода.

Спасибо!

Answer 1

Почему вы не можете использовать cprofile? Ты пробовал?

Для MPICH, я побежал, как это:

$ mpiexec -l -np 4 python -m cProfile ./simple-io.py doodad 

Это дает мне 4 набора выходных данных, но «-l» аргумент перечисляет ранг MPI перед каждым битом продукции. Обратите внимание: аргумент '-l' является специфичным для MPICH. OpenMPI использует --tag-output. Другие реализации могут использовать что-то еще.

Я вижу, что cprofile может принимать аргумент имени файла. сделать выходной файл для каждого-ранга, а затем обработать его с Показателями

% python 
Python 2.7.10 (default, Oct 14 2015, 16:09:02) 
[GCC 5.2.1 20151010] on linux2 
Type "help", "copyright", "credits" or "license" for more information. 
>>> import pstats 
>>> pstats.Stats("simple-io.cprofile").sort_stats('cumulative').print_stats() 

дает мне много информации Cprofile ... но моя игрушка программа была слишком мала, чтобы дать мне что-нибудь полезное.

Answer 2

Как Rob Latham сказал, что вы можете использовать cProfile. Вы можете сохранить вывод из каждого процесса в другом файле. Если вы хотите, чтобы профилировать функцию можно использовать декоратор, как это:

from mpi4py import MPI 
import cProfile 

def profile(filename=None, comm=MPI.COMM_WORLD): 
    def prof_decorator(f): 
    def wrap_f(*args, **kwargs): 
     pr = cProfile.Profile() 
     pr.enable() 
     result = f(*args, **kwargs) 
     pr.disable() 

     if filename is None: 
     pr.print_stats() 
     else: 
     filename_r = filename + ".{}".format(comm.rank) 
     pr.dump_stats(filename_r) 

     return result 
    return wrap_f 
    return prof_decorator 

@profile(filename="profile_out") 
def my_function(): 
    # do something 

Выход каждого процесса можно визуализировать с помощью snakeviz