Октава: std на разреженной матрице, слишком интенсивной памяти

Question

У меня очень большая разреженная матрица в Octave, и я хочу получить дисперсию каждой строки. Если я использую std(A,1); , он падает, потому что память исчерпана. Почему это? Отклонение должно быть очень легко вычислить для разреженной матрицы, не так ли? Как я могу сделать эту работу?

Answer 1

Если вы хотите, стандартное отклонение только ненулевых элементов в каждом столбце, то вы можете сделать:

[nrows, ncols] = size(A); 

counts = sum(spones(A),1); 

means = sum(A,1) ./ max(counts, 1); 
[i,j,v] = find(A); 
v = means(j); 
placedmeans = sparse(i,j,v,nrows,ncols); 

vars = sum((A - placedmeans).^2, 1) ./ max(counts, 1); 

stds = sqrt(vars); 

Я не могу представить себе ситуацию, в которой вы хотели бы принять стандартные отклонения всех члены в каждой колонке разреженной матрицы (включая нули), но если да, то вам нужно только подсчитать количество нулей в каждом столбце и включить их в расчетах:

[nrows,ncols] = size(A); 

zerocounts = nrows - sum(spones(A),1); 

means = sum(A,1) ./ nrows; 
[i,j,v] = find(A); 
v = means(j); 
placedmeans = sparse(i,j,v,nrows,ncols); 

vars = (sum((A - placedmeans).^2, 1) + zerocounts .* means.^2) ./ nrows; 

stds = sqrt(vars); 

Кроме того, я не знаю, если вы хотите вычесть один из знаменателя vars (counts и nrows respe ctively).

EDIT: исправлена ​​ошибка, которая восстанавливает помещенную матрицу неправильного размера, когда A заканчивается в строке или столбце всех нулей. Кроме того, первый случай теперь возвращает среднее значение/var/std нуля всякий раз, когда столбец имеет все нули (тогда как раньше он был бы NaN)