Потоковая передача больших данных при сортировке

Question

У меня есть огромные данные, и в результате я не могу хранить все это в памяти, и я всегда получаю ошибки из памяти; очевидно, одним из решений будет использование потоковой передачи в Node.JS; но потоковая передача невозможна (насколько мне известно) с сортировкой, которая является одной из функций, которые я применяю к своим данным; есть ли алгоритм может быть Разделяй и властвуй алгоритм, который можно использовать для комбинации потоковой передачи и сортировки (которая является одной из функциональных возможностей, которые я применяю на мои данные?)

Answer 1

Вы можете передавать данные, используя Kinesis и использовать Kinesis Client Library , или subscribe a Lambda function to your Kinesis stream и постепенно поддерживать отсортированные материализованные виды. Где вы храните свои отсортированные материализованные представления и как вы делите ваши данные, будет зависеть от вашего приложения. Если вы не можете сохранить все отсортированные материализованные виды, вы можете просмотреть кадры. Если ваши данные являются временными рядами или имеют другой естественный порядок, вы можете разделить диапазон вашего упорядоченного атрибута на куски. Тогда у вас могут быть, например, 1-дневные или 1-часовые отсортированные фрагменты ваших данных. Другими словами, выберите сортированное подразделение, которое позволяет сохранять информацию в памяти по мере необходимости.