Каков наиболее эффективный способ распараллеливать код python, который использует rpy2?

Question

Я использую python3, и в нем я использую пакет rpy2, чтобы получить доступ к R, передать в R-код, где выполняется мое тяжелое вычисление, и вернуть результаты на python. В частности, я использую функцию lfe R (документация here).

Хотелось бы узнать, какой вариант лучше: выполнить распараллеливание в python или в R. Имеет ли это значение? Почему мы должны подозревать, что он эффективнее другого? Благодарю.

Answer 1

За исключением многопоточности (что не является отличным способом параллелизации кода Python в любом случае из-за GIL), и это потому, что R не может обрабатывать параллелизм, любой другой способ распараллеливать задачи Python (вы найдете отчеты людей, использующих rpy2 с pyspark и multiprocessing) или R (есть R пакетов для распараллеливания).