Storm чтение файлов бросает «Java.lang.OutOfMemoryError: превышен лимит накладных расходов GC»

Question

Я работал над топологией Storm, я прочитал из файла в методе «Выполнение (кортеж)» и java выбрасывает мне «Java .lang.OutOfMemoryError: превышен верхний предел GC ". Программа отлично работает, пока она не выкинет эту ошибку из-за слишком большого использования GarbageCollector (я думаю). Один и тот же код, который используется, работает отлично, проблема заключается в крайнем совпадении моей реализации Storm. Я думаю, что это потому, что программа тратит слишком много времени на сборщик мусора, и, как я его запрограммировал, я думаю, что он создает много читателей для одного и того же файла и Bolt каждый раз, когда он выполняет кортеж. Мне было интересно, можно ли прочитать файл в методе «Подготовить()», сохранить его в массиве String, и если это так, я спрашиваю: будет ли он создавать только один считыватель и массив String для одного экземпляра Bolt?

Вот пример моего Болт:

public static class FilterSomeBolt extends BaseRichBolt { 
     OutputCollector _collector; 

     public void prepare(Map conf, TopologyContext context, OutputCollector collector) { 
      _collector = collector; 
     } 

     public void execute(Tuple tuple) { 

      String entr = tuple.getString(1); 

      boolean flagRet=false; 

      try { 
       String fileName2 = (String)"file.csv"; 
       BufferedReader reader2 = new BufferedReader(new FileReader(fileName2)); 
       // read and ignore the header if one exists 

      String line2 =reader2.readLine(); 
      while(line2!= null){ 
        if(line2.toLowerCase().contains("something")&&line2.toLowerCase().contains(entr.substring(1, 8).toLowerCase())){ 

         flagRet=true; 
        }//end if 
      line2 =reader2.readLine(); 

     }//end while 
}.......................... 
............................//tuple sent 

Я пытаюсь понять эти методы, и был бы признателен за помощь. Спасибо заранее!

Answer 1

Логика чтения файлов создает проблему. Если первая строка файла не равна нулю, ваш цикл while будет выполняться бесконечно много раз. Обновите его после фрагмента кода:

while((line2 =reader2.readLine())!= null){ 
    ....//do anything you want 
} 

Надеюсь, это поможет.