Высокое использование памяти при загрузке и обработке большого количества файлов

Question

Я пытаюсь использовать FineUploader для загрузки большого количества файлов. Мне также нужно манипулировать файлами перед их загрузкой - а именно, мне нужно анонимизировать некоторую идентифицирующую информацию. В another answer, Ray Nicholus предложил отклонить исходный файл в обработчике onSubmit, а затем повторно добавить управляемый файл. Поэтому мой обработчик onSubmit выглядит так:

onSubmit: function (id, name) 
{ 
    var file = this.getFile(id) 
    if (file.isAnonymized) 
    { 
     return; 
    } 
    var reader = new FileReader() 
    reader.onload = function() 
    { 
     var arrayBuffer = this.result 
     var byteArray = new Uint8Array(arrayBuffer) 
     // Manipulate the byteArray in some way... 
     var blob = new window.Blob([byteArray]) 
     blob.isAnonymized = true 
     // add the anonymized file instead 
     uploader.addFiles({blob: blob, name: name}) 
    } 
    reader.readAsArrayBuffer(file) 
    // cancel the original file 
    return false 
}, 

Это прекрасно работает для небольшого количества файлов. В конкретном примере клиент попытался загрузить ~ 1.500 файлов по 3 МБ в Firefox и увидел, что использование памяти в Firefox пробило крышу, прежде чем вкладка в конечном итоге потерпела крах. Другие браузеры (Chrome, Edge) демонстрируют подобное поведение. Использование инструментов разработчика браузера, похоже, не показывает больших объемов памяти. Нет проблем при простой загрузке файлов как есть, но это не вариант.

Answer 1

Я немного очистил пример от https://github.com/sgarcialaguna-mms/file-upload-memory/ и теперь уверен, что ошибка связана с тем, что библиотека fineuploader держится до blobs дольше, чем необходимо.

Пример теперь загружает один файл в память за раз, затем передает blob в библиотеку загрузки. Я также теперь использую фактический сервер (пример Django из репозитория примеров-экземпляров fineuploader).

С Firefox, когда я перетаскиваю файлы размером ~ 1 ГБ, использование памяти Firefox неуклонно растет во время загрузки и остается высоким даже после завершения загрузки. Я могу открыть примерно: память, нажмите «Свести к минимуму использование памяти», чтобы вызвать сборку мусора, нажмите «Измерение», и данные файла отображаются в разделе «memory-file-data/large». Вызовите uploader.reset(), снова запустите сборку мусора, и использование памяти Firefox резко снизится. Измерение снова показывает, что объекты «memory-file-data/large» больше не присутствуют в памяти. Согласно https://github.com/FineUploader/fine-uploader/issues/1540#issuecomment-194201646, вызывая this._handler.expunge(id) после каждой загрузки, также.

Хром ведет себя по-другому, из-за давней ошибки, которая в конечном итоге начинает метать ошибки ERR_FILE_NOT_FOUND, когда накапливается более 500 МБ данных blob. Страница chrome: // blob-internals показывает, какие капли сохраняются, а также их refcount.

Я не знаю, есть ли простой способ определить, какая переменная/закрытие/что-то удерживает эти объекты, но это очень помогло бы.