outputBuffers возвращает нулевой указатель, хотя кадр отображается на экране, используя MediaCodec в Android

Question

Я использую класс MediaCodec для декодирования видео в формате .mp4, используя код, приведенный в этом link.

Я могу получить визуализированный вывод на экране, но когда я пытаюсь получить доступ к outputBuffers[outIndex], я получаю ошибку с нулевым указателем. Я не могу понять, как получить доступ к буфере кадров, чтобы выполнить некоторую обработку.

Answer 1

Это ожидаемое (хотя и недокументированное) поведение. Вы можете либо отправить вывод на ByteBuffer, либо на номер Surface, но не оба.

Доступны некоторые дополнительные примеры, которые могут быть интересны here. Если вы декодируете до SurfaceTexture, вы можете визуализировать текстуру дважды, один раз до View и один раз на поверхность pbuffer. Вы можете использовать glReadPixels, чтобы получить данные и обработать их, или выполнить обработку в шейдере GLES.

Если вы извлекаете код ByteBuffer, вы должны сами интерпретировать данные, что сложно на устройствах, которые используют собственный формат вывода. Вы заметите из тестов CTS с буфером-буфером, что некоторые устройства не проверяются, потому что формат неизвестен.