Nodejs filestream concurrency

Question

Мне кажется, что у меня проблема параллелизма в nodejs. Я осознаю тот факт, что это не должно быть возможным.

Я обрабатываю данные по строке из файла и записываю ее в другой файл также в строках. В выходном файле я замечаю, что строки переписываются, что означает, что время от времени я вижу строки на выходе, которые, похоже, переписываются наполовину другими строками. Я прочитал данные из потока чтения. это выглядит примерно так:

let iStream = fs.createReadStream(inputFile); 
let oStream = fs.createWriteStream(outputFile); 
let remaining = ''; 

iStream.on('data',(data)=>{ 
    remaining += data; 
    let line = remaining.split(/\r?\n/); 
    let lines = line.length; 
    if(lines > 0) { 
    remaining = line[lines - 1]; 
    line.length = lines - 1; 
    line.forEach((curr)=>{ 
     oStream.write(processLine(curr)); 
    }); 
}); 

Есть ли возможность сбоев записи этой схемы производства или мне придется искать где-то еще?

Answer 1

Это проблема с переполнением буфера. Вероятно, вы переполняете буфер записи, но не обращаете внимания на управление потоком.

Вы можете либо передать функцию обратного вызова в .write() и только перейти к следующей записи, когда эта функция вызывается или вы можете обратить внимание на возвращаемое значение из .write(), и когда он возвращается false, вы должны затем ждать drain события в потоке, прежде чем писать еще немного.

Другим подходом было бы написать transform stream, а затем использовать .pipe() и позволить потоковой инфраструктуре управлять потоком управления для вас.