Apache NiFi - OutOfMemory Ошибка: превышен верхний предел GC на процессоре SplitText

Question

Я пытаюсь использовать NiFi для обработки больших CSV-файлов (по потенциально миллиардам записей каждый) с использованием HDF 1.2. Я реализовал поток, и все отлично работает для небольших файлов.

Проблема заключается в том, что если я пытаюсь нажать размер файла 100MB (1M записей) Я получаю java.lang.OutOfMemoryError: GC overhead limit exceeded от процессора SplitText ответственного разбиения файла на отдельные записи. Я искал это, и это в основном означает, что сборщик мусора выполняется слишком долго, не получая много кучи. Я ожидаю, что это означает, что слишком много файлов потока генерируются слишком быстро.

Как я могу это решить? Я попытался изменить конфигурацию nifi в отношении максимального пространства кучи и других свойств, связанных с памятью, но ничего не работает.

Прямо сейчас я добавил промежуточный SplitText с количеством строк 1К и что позволяет мне избежать ошибки, но я не вижу в этом виде твердого раствора для того, когда размер входящего файла будет потенциально гораздо более чем это, я боюсь, что получаю такое же поведение от процессора.

Любые предложения приветствуются! Спасибо

Answer 1

Причина ошибки в том, что при расщеплении записей 1M с количеством строк 1 вы создаете файлы потока 1M, которые приравнивают 1M объекты Java. В целом подход использования двух процессоров SplitText является общим и позволяет одновременно создавать все объекты. Вероятно, вы можете использовать еще больший размер сплита на первом расколе, возможно, 10k. Для миллиарда записей мне интересно, имеет ли смысл третий уровень, от 1B до 10M, затем от 10M до 10K, затем от 10K до 1, но мне придется играть с ним.

Некоторые дополнительные вещи, которые следует учитывать, увеличивают размер кучи по умолчанию с 512 МБ, что вы, возможно, уже сделали, а также выясните, действительно ли вам нужно разделить до 1 строки. Трудно сказать, не зная ничего о потоке, но во многих случаях, если вы хотите доставить каждую строку где-нибудь, у вас может быть процессор, который читает в большом файле с разделителями и передает каждую строку в пункт назначения. Например, так работают PutKafka и PutSplunk, они могут взять файл с линиями 1M и передать каждую строку в пункт назначения.