Создание большой ковариационной матрицы

Question

Мне нужно создать ~ 110 ковариационных матриц размером в 19347 x 19347, а затем добавить их все вместе.

Это само по себе не очень сложно, и для меньших матриц следующий код работает нормально.

covmat <- matrix(0, ncol=19347, nrow=19347) 
files<-list.files("path/to/folder/") 
for(name in files){ 
    text <- readLines(paste("path/to/folder/", name, sep=""), n=19347, encoding="UTF-8") 
    for(i in 1:19347){ 
    for(k in 1:19347){ 
     covmat[i, k] <- covmat[i,k] + (as.numeric(text[i]) * as.numeric(text[k])) 
    } 
    } 
} 

Для сохранения памяти Я не вычисляю каждую отдельную матрицу, а добавляю ее вместе, когда она проходит через каждый файл.

Проблема заключается в том, что я запускаю ее на реальных данных, которые мне нужны, чтобы использовать это слишком долго. На самом деле данных не так много, но я думаю, что это работа с процессором и памятью. Таким образом, его запуск в течение ~ 10 часов не вычисляет результат.

Я искал попытку использования Map Reduce (AWS EMR), но я пришел к выводу, что я не верю, что это проблема с уменьшением карты, поскольку это не большая проблема с данными. Однако вот код для моего картографа и редуктора, с которым я играл, если я только делал это неправильно.

#Mapper 
text <- readLines("stdin", n=4, encoding="UTF-8") 
covmat <- matrix(0, ncol=5, nrow=5) 

for(i in 1:5){ 
    for(k in 1:5){ 
    covmat[i, k] <- (as.numeric(text[i]) * as.numeric(text[k])) 
    } 
} 

cat(covmat) 

#Reducer 
trimWhiteSpace <- function(line) gsub("(^ +)|(+$)", "", line) 
splitIntoWords <- function(line) unlist(strsplit(line, "[[:space:]]+")) 
final <- matrix(0, ncol=19347, nrow=19347) 
## **** could wo with a single readLines or in blocks 
con <- file("stdin", open = "r") 
while (length(line <- readLines(con, n = 1, warn = FALSE)) > 0) { 

    line <- trimWhiteSpace(line) 
    words <- splitIntoWords(line) 
    final <- final + matrix(as.numeric(words), ncol=19347, nrow=19347) 
} 
close(con) 
cat(final) 

Может кто-нибудь предложить, как решить эту проблему?

Заранее спасибо

EDIT

Благодаря большой помощи со стороны некоторых комментаторов ниже я пересмотрел код, чтобы он намного эффективнее.

files<-list.files("path/to/file") 
covmat <- matrix(0, ncol=19347, nrow = 19347) 
for(name in files){ 
    invec <- scan(paste("path/to/file", name, sep="")) 
    covmat <- covmat + outer(invec,invec, "*") 
} 

Вот пример файла, который я пытаюсь обработать.

1  0.00114582882882883 
2  -0.00792611711711709 
...      ... 
19346 -0.00089507207207207 
19347 -0.00704709909909909 

При запуске программы все равно требуется ~ 10 минут на файл. Есть ли у кого-нибудь советы о том, как это можно ускорить?

У меня 8 ГБ ОЗУ, и когда программа запускается R, она использует только 4,5 ГБ, и есть небольшая сумма бесплатно.

Я бегу Mac OS X Snow Leopard и R 64-битной ст. 2,15

Answer 1

Возможно

covmat <- matrix(0, ncol=19347, nrow = 19347) 
files <- paste("path/to/folder/", list.files("path/to/folder/"), sep = '') 
for(name in files){ 
    vec <- scan(name, nlines = 19347) 
    mat <- outer(vec, vec, '*') 
    covmat <- covmat + mat 
} 

Я предполагаю, но, возможно, вы действительно хотите что-то вроде ...

numFiles <- 110 
mat <- matrix(0, ncol= numFiles, nrow = 19347) 
files <- paste("path/to/folder/", list.files("path/to/folder/"), sep = '') 
for(i in 1:numFiles){ 
    mat[i,] <- scan(files[i], nlines = 19347) 
} 
covmat <- cov(mat) 

Answer 2

У меня есть проблемы с логикой в ​​вашей петле. Вы вычисляете результат, который по существу является covmat + external (in.vec).

text <- c("1", "5", "8") 
    for(i in 1:3){ 
    for(k in 1:3){ 
     covmat[i, k] <- (as.numeric(text[i]) * as.numeric(text[k])) 
    } 
    } 
covmat 
    [,1] [,2] [,3] 
[1,] 1 5 8 
[2,] 5 25 40 
[3,] 8 40 64 
outer(as.numeric(text),as.numeric(text), "*") 
    [,1] [,2] [,3] 
[1,] 1 5 8 
[2,] 5 25 40 
[3,] 8 40 64 

Это не делает это неправильно, просто что-то, что может быть значительно упрощено в R, и если это то, что вы действительно хотите, то это векторизация функция может заменить целые внутренние две петли:

invec <- scan(paste("path/to/folder/", name, sep="") 
covmat <- outer(invec,invec, "*") 

Вы также переписываете каждый из результатов для последовательных файлов с помощью своего самого внешнего цикла, который не был тем, что вы сказали, что хотите сделать, поэтому вам может понадобиться решить, какая структура данных хранит эти матрицы, естественным выбором является список:

matlist <- list() 
files<-list.files("path/to/folder/") 
    for(name in files){ 
     invec <- scan(paste("path/to/folder/", name, sep="") 
     covmat <- outer(invec,invec, "*") 
     matlist[[name]] <- covmat 
         } 

Теперь «matlist» должен иметь столько же матриц, сколько файлов в этом каталоге. Вы можете получить к ним доступ по имени или по порядку ввода. Вы можете получить имена с:

names(matlist)