Python: Точечный продукт массива dask

Question

Я пытаюсь сделать точечный продукт очень больших массивов массива X (35000 x 7500) и Y (7500 x 10). Поскольку скалярное произведение также будет очень большой, я храню его в hdf5

f = h5py.File('output.hdf5') 
f['output'] = X.dot(Y) 

Но вторая команда не дает никаких выходных данных, даже если его почти 1 час. Что не так? Есть ли более быстрая техника? Есть ли проблема «кусков» при создании X и Y?

Answer 1

Рассмотрите способ .to_hdf5 или da.store.

>>> X.dot(Y).to_hdf5('output.hdf5', 'output') 

или

>>> output = f.create_dataset('/output', X.dot(Y).shape, X.dot(Y).dtype) 
>>> da.store(X.dot(Y), output) 

to_hdf5 метод, вероятно, проще для вас. Метод da.store является общим и для других форматов.

__setitem__ функция H5Py (то, что вы используете, когда вы говорите f['output'] = ... жестко закодировано использовать Numpy массивы.

Here is the appropriate section in the documentation.