Применение scipy.sparse.linalg.svds вызывает ошибку памяти?

Question

Я пытаюсь разложить разреженную матрицу (40 000 × 1,400,000) с scipy.sparse.linalg.svds на моей 64-битной машине с объемом памяти 140 ГБ. следующим образом:

k = 5000 
tfidf_mtx = tfidf_m.tocsr() 
u_45,s_45,vT_45 = scipy.sparse.linalg.svds(tfidf_mtx, k=k) 

Когда K колеблется от 1000 до 4500, он работает. Но К 5000, он бросает точный ошибка MemoryError.The приводится ниже:

--------------------------------------------------------------------------- 
MemoryError        Traceback (most recent call last) 
<ipython-input-6-31a69ce54e2c> in <module>() 
     4 k = 4000 
     5 tfidf_mtx = tfidf_m.tocsr() 
----> 6 get_ipython().magic(u'time u_50,s_50,vT_50 =linalg.svds(tfidf_mtx, k=k)) 
     7 # print len(s),s 
     8 

/usr/lib/python2.7/dist-packages/IPython/core/interactiveshell.pyc in magic(self, arg_s) 
    2163   magic_name, _, magic_arg_s = arg_s.partition(' ') 
    2164   magic_name = magic_name.lstrip(prefilter.ESC_MAGIC) 
-> 2165   return self.run_line_magic(magic_name, magic_arg_s) 
    2166 
    2167  #------------------------------------------------------------------------- 

/usr/lib/python2.7/dist-packages/IPython/core/interactiveshell.pyc in run_line_magic(self, magic_name, line) 
    2084     kwargs['local_ns'] = sys._getframe(stack_depth).f_locals 
    2085    with self.builtin_trap: 
-> 2086     result = fn(*args,**kwargs) 
    2087    return result 
    2088 

/usr/lib/python2.7/dist-packages/IPython/core/magics/execution.pyc in time(self, line, cell, local_ns) 

/usr/lib/python2.7/dist-packages/IPython/core/magic.pyc in <lambda>(f, *a, **k) 
    189  # but it's overkill for just that one bit of state. 
    190  def magic_deco(arg): 
--> 191   call = lambda f, *a, **k: f(*a, **k) 
    192 
    193   if callable(arg): 

/usr/lib/python2.7/dist-packages/IPython/core/magics/execution.pyc in time(self, line, cell, local_ns) 
    1043   else: 
    1044    st = clock2() 
-> 1045    exec code in glob, local_ns 
    1046    end = clock2() 
    1047    out = None 

<timed exec> in <module>() 

/usr/local/lib/python2.7/dist-packages/scipy/sparse/linalg/eigen/arpack/arpack.pyc in svds(A, k, ncv, tol, which, v0, maxiter, return_singular_vectors) 
    1751   else: 
    1752    ularge = eigvec[:, above_cutoff] 
-> 1753    vhlarge = _herm(X_matmat(ularge)/slarge) 
    1754 
    1755   u = _augmented_orthonormal_cols(ularge, nsmall) 

/usr/local/lib/python2.7/dist-packages/scipy/sparse/base.pyc in dot(self, other) 
    244 
    245   """ 
--> 246   return self * other 
    247 
    248  def __eq__(self, other): 

/usr/local/lib/python2.7/dist-packages/scipy/sparse/base.pyc in __mul__(self, other) 
    298     return self._mul_vector(other.ravel()).reshape(M, 1) 
    299    elif other.ndim == 2 and other.shape[0] == N: 
--> 300     return self._mul_multivector(other) 
    301 
    302   if isscalarlike(other): 

/usr/local/lib/python2.7/dist-packages/scipy/sparse/compressed.pyc in _mul_multivector(self, other) 
    463 
    464   result = np.zeros((M,n_vecs), dtype=upcast_char(self.dtype.char, 
--> 465               other.dtype.char)) 
    466 
    467   # csr_matvecs or csc_matvecs 

MemoryError: 

, когда к 3000 и 4500, отношение суммы квадратов сингулярных значений в сумме квадрат всех матричных объектов равен 0.7033 и 0.8230. Я давно ищу в сети. Но бесполезно. Пожалуйста, помогите или попытайтесь дать некоторые идеи, как достичь этого.

Answer 1

Таким образом, возврат представляет собой массив (M, k). На обычной старой машине:

In [368]: np.ones((40000,1000)) 
.... 
In [369]: np.ones((40000,4000)) 
... 
In [370]: np.ones((40000,5000)) 
... 
--> 190  a = empty(shape, dtype, order) 
    191  multiarray.copyto(a, 1, casting='unsafe') 
    192  return a 
MemoryError: 

Теперь может быть просто совпадение, что я попал в ошибку памяти в том же размере ваш код. Но если вы сделаете проблему достаточно большой, в какой-то момент вы столкнетесь с ошибками памяти.

Ваш стек показывает, что ошибка возникает при умножении разреженной матрицы и плотного массива 2d (другой), и результат также будет плотным.