releaseOutputBuffer для разных разрешений

Question

Я использую API NDK MediaCodec для Android, чтобы декодировать поток MP4 с различными разрешениями.

Я использую встроенную функциональность для визуализации поверхности, вызывая AMediaCodec_releaseOutputBuffer с флагом render, установленным в true.

Я обнаружил, что каждый раз, когда изменяется разрешение, на поверхности размером с новое разрешение выводится несколько кадров старого разрешения. Он может выглядеть примерно так: шаг за шагом в разрешении:

+------------------+-------------+ 
| frame of old res |    | 
| displayed too |    | 
| small   |    | 
+------------------+    | 
|        | 
|  size of new resolution | 
+--------------------------------+ 

После нескольких кадров видео снова выглядит нормально. Я подозреваю, что это связано с изменением размера поверхности, когда входной буфер помещается в очередь с новым разрешением, а не когда первый выходной буфер этого разрешения выгружен.

Неужели кто-нибудь сталкивался с этой проблемой раньше?

Answer 1

Этот конкретный декодер указывает поддержку MediaCodecInfo.CodecCapabilities.FEATURE_AdaptivePlayback?

Я не сталкивался с этой проблемой сам (поскольку я не пробовал декодировать потоки, которые меняют разрешение), но, насколько я знаю, этот флаг функции был введен для правильной обработки этого варианта использования. Если вы видите это поведение на декодере с этим признаком функции, я бы счел его ошибкой (или я не понял фактические последствия этого флага функции должным образом).

Answer 2

Спасибо за помощь.

я нашел следующее в MediaCodec documentation:

Для некоторых форматов видео, можно также изменить размер изображения в середине потока. Для этого для H.264 новые значения параметров набора параметров (SPS) и набора параметров изображения (PPS) должны быть упакованы вместе с фреймом обновления мгновенного декодера (IDR) в одном буфере, который затем может быть установлен в очередь в виде обычного входной буфер. Клиент получит возвращаемое значение INFO_OUTPUT_FORMAT_CHANGED из dequeueOutputBuffer() или onOutputBufferAvailable() сразу после изменения размера изображения и до того, как будут возвращены кадры с новым размером.

Всякий раз, когда я получаю новый SPS и PPS, я стараюсь не передавать их на декодер сразу, а скорее добавлять их к следующему I-кадру.

Это решил проблему - изменения разрешения незаметны :)