Преобразование функции корреляционного коэффициента из NumPy в Dask

Question

Я пытаюсь оценить dask, преобразовывая метод из thunder (используя Spark) в эквивалентную версию numpy, но я не уверен, как писать это с использованием dask/distribution ,

В громом, я могу взять пачку изображений, конвертировать его в серию, и коррелируют с некоторым сигналом:

imgs = thunder.images.fromrandom((10, 900, 900)) 
series = imgs.toseries() 
signal = series[5, 5, :] 
correlated = series.correlate(signal) 

NumPy версия выглядит следующим образом:

series = numpy.random.rand(900, 900, 10) 
signal = series[5, 5, :] 

reshaped = series.reshape(900 * 900, 10) 

correlated = numpy.asarray(
    map(lambda x: numpy.corrcoef(x, signal)[0, 1], reshaped)) 
) 
final = correlated.reshape(900, 900) 

Я m ищет некоторые советы о том, как преобразовать это во что-то для распространения в частности.

Answer 1

Возможно, что-то вроде следующего?

import dask.array as da 
import numpy as np 

imgs = da.random.random((10, 900, 900), chunks=(1, 900, 900)) 
reshaped = imgs.reshape((10, 900 * 900)) 

Если вы хотите, чтобы соотнести свои образа друг против друг

result = da.corrcoef(reshaped) 
result.compute() 

Или против какого-либо другого сигнала

signal = np.random.random(900 * 900) 
result = reshaped.map_blocks(np.corrcoef, signal, dtype=signal.dtype) 
result.compute() 

Однако, я не очень хорошо знаком с приложением, так ответ выше может быть ошибочным.