API Java Sound: попытка мониторинга входного микрофона в реальном времени Slow

Question

Я думаю, что у меня проблема с производительностью (латентностью) с Java Sound API.

аудиомонитора

Следующий код действительно работает для меня. Он правильно открывает микрофон и выводит аудиосигнал через мои динамики в реальном времени (т. Е. Мониторинг). Но мое беспокойство - это скорость, с которой происходит воспроизведение ... это на полсекунды сзади, когда я говорю в своем микрофоне до воспроизведения через мои динамики.

Как увеличить производительность? Как снизить задержку?

private void initForLiveMonitor() { 

    AudioFormat format = new AudioFormat(AudioFormat.Encoding.PCM_SIGNED, 44100, 16, 2, 4, 44100, false); 

    try { 

     //Speaker 
     DataLine.Info info = new DataLine.Info(SourceDataLine.class, format); 
     SourceDataLine sourceLine = (SourceDataLine) AudioSystem.getLine(info); 
     sourceLine.open(); 

     //Microphone 
     info = new DataLine.Info(TargetDataLine.class, format); 
     TargetDataLine targetLine = (TargetDataLine) AudioSystem.getLine(info); 
     targetLine.open(); 

     Thread monitorThread = new Thread() { 
      @Override 
      public void run() { 
       targetLine.start(); 
       sourceLine.start(); 

       byte[] data = new byte[targetLine.getBufferSize()/5]; 
       int readBytes; 

       while (true) { 
        readBytes = targetLine.read(data, 0, data.length); 
        sourceLine.write(data, 0, readBytes); 
       } 
      } 
     }; 

     System.out.println("Start LIVE Monitor for 15 seconds"); 
     monitorThread.start(); 

     Thread.sleep(15000); 
     targetLine.stop(); 
     targetLine.close(); 
     System.out.println("End LIVE Monitor"); 

    } 
    catch(LineUnavailableException lue) { lue.printStackTrace(); } 
    catch(InterruptedException ie) { ie.printStackTrace(); } 


} 

Дополнительные примечания

• С помощью этого кода, воспроизведение не является гладкой (не выскакивает ни испуг), только половина второго замедленные.
• Я также знаю, что мой компьютер и интерфейс USB Audio способны обрабатывать мониторинг в реальном времени через компьютер, потому что, когда я сравниваю бок о бок с Logic Pro X, есть минимальные задержки - я не вижу задержки вообще.
• Мои попытки уменьшить размер/размер байта [] не помогли.

Мое заключение заключается в том, что это проблема Java-кода, которая у меня есть. Заранее спасибо.

Answer 1

Существует более одного буфера!

Когда вы открываете SourceDataLine и TargetDataLine, я бы рекомендовал использовать форму, в которой вы указываете размер буфера. Но я не знаю, какой размер рекомендовать. Я не играл с этим достаточно, чтобы узнать, какой оптимальный размер для безопасного ввода микрофона - мой опыт больше связан с синтезом в реальном времени.

В любом случае, как насчет этого: определите длину данных [] и используйте ту же длину в методах открытия линии. Попробуйте цифры, такие как 1024 или несколько (при том, что количество байтов может быть равномерно разделено на количество кадров в байтах, которое выглядит 4 в соответствии с используемым вами форматом).

int bufferLen = 1024 * 4; // experiment with buffer size here 

byte[] data = new byte[bufferLen]; 
sourceLine.open(bufferLen); 
targetLine.open(bufferLen); 

Кроме того, возможно, код в бегах() был бы лучше поместить в другом месте, чтобы не добавить к требуемой обработке, прежде чем трубопровод может даже начать. Данные массива [] и int readBytes могут быть переменными экземпляра и готовы к свертке, а не быть помеченными в run(), потенциально добавляя к задержке.

Это все, что я бы попробовал.