Обработать и отправить большой объем данных с помощью Hapijs

Question

Мы используем Hapijs/React/Sequelize/MySQL. Меня что-то вызывает, и я сделал некоторые исследования в этом вопросе.

Установка:

Мы Реагировать компонент, который выдает AJAX вызов Хапи API. API возвращает массив объектов. Это отображается в React. Выпуск: Мы запрашиваем данные из таблицы. Эти данные возвращаются как массив сложных объектов. Каждый из этих объектов является объектом sequlize. И у него есть много дополнительных свойств, которые нам не нужны. Мы посылаем этот объект, используя hapı ответ, что-то вроде (40k) объектов:

flattenedParts.forEach(function(item) { 
      item.dataValues.Product = productsMap[item.dataValues.ProductId] || []; 
      item.dataValues.PartModule = partModulesMap[item.dataValues.PartModuleId] || []; 
      fullObjects.push(item); 
     }); 

     reply(fullObjects).code(200); 

Когда код достигает ответное заявление, он занимает 14 секунд, пока не будет отправлять его как простой массив объектов JSON.

Для меня кажется, что сериализация этих объектов занимает много времени. Поэтому я подумал о создании массива простых объектов, которые нужны только мне. Я сделал что-то вроде этого (40k объектов) ::

flattenedParts.forEach(function(item) { 
      item.Product = productsMap[item.dataValues.ProductId] || []; 
      item.PartModule = partModulesMap[item.dataValues.PartModuleId] || []; 
      var flat = new partCreator(item); 
      newParts.push(flat); 
     }); 

     reply(fullObjects).code(200); 

Функция части Творца просто:

function partCreator(part){ 
    this.Product = {}; 
    this.id = part.dataValues.id; 
    this.PartNumber = part.dataValues.PartNumber; 
    ... 
    } 

Таким образом, в конце концов, я в конечном итоге с массивом с простыми объектами, содержащих данные, Мне нужно. Скорость теперь составляет около 7 секунд. Почти 50% прироста скорости. Но если я прав, это должно быть намного быстрее. Что происходит за кулисами с помощью функции , и как я могу ускорить это?

Answer 1

Существует не так много вещей, чтобы использовать производительность, когда вы хотите вернуть обратно объекты 40K (!). У вас скоро будут проблемы масштабирования, в больших масштабах вы не сможете обрабатывать и обрабатывать так много объектов в памяти на вашем сервере. Цель REST API - получить запрос и быстро вернуть небольшой объем данных. Вы должны ограничить объем данных, которые вы загружаете в память, и не должны превышать 100 (даже 100 - это много). Вы должны расширить свой API для поддержки всех функций, которые вы хотите (разбиение на страницы, сортировка, поиск и т. Д.), А также расширение клиента для подачи большего количества запросов на ваш API. Кстати, некоторые из браузеров, которые работают на устройствах, которые не так быстро, также будут иметь проблемы с производительностью.