Я пытаюсь отправить dask
-DAG по нескольким вызовам клиента distributed
, но не смог сохранить промежуточные результаты в кластере. Не могли бы вы указать, как я могу это сделать?Как перенести dask-DAG на распределенный кластер по нескольким вызовам и сохранять промежуточные результаты?
from distributed import Client
c = Client()
dsk0 = {'a': 1, 'b': (lambda x: 2*x, 'a')}
keys0 = ['a', 'b']
futures0 = c._graph_to_futures(dsk0, keys0)
fb = futures0['b']
b = fb.result() # Yields correctly 2
dsk1 = {'c': (lambda x: 3*x, 'a')}
keys1 = ['c']
futures1 = c._graph_to_futures(dsk1, keys1)
fc = futures1['c']
c = fc.result() # Yields 'aaa', instead of 3
Заранее благодарен!
Markus