Использование Media Foundation для кодирования поверхностей Direct X

Question

Я пытаюсь использовать MediaFoundation API для кодирования видео, но у меня возникают проблемы с нажатием образцов на SinkWriter.

Я получаю кадры для кодирования через API дублирования рабочего стола. В итоге я получил ID3D11Texture2D с изображением рабочего стола.

Я пытаюсь создать IMFVideoSample, содержащий эту поверхность, а затем нажимать этот образец видео на SinkWriter.

Я пытался идти об этом по-разному:

• Я назвал MFCreateVideoSampleFromSurface(texture, &pSample) где текстура является ID3D11Texture2D, заполненный в SampleTime и SampleDuration, а затем передает созданный образец в SinkWriter.
  SinkWriter вернулся E_INVALIDARG.

• Я попытался создать образец, передав nullptr в качестве первого аргумента и создав сам буфер, используя MFCreateDXGISurfaceBuffer, а затем передав результирующий буфер в Sample.
  Это тоже не сработало.

• Я прочитал документацию MediaFoundation и не смог найти подробную информацию о том, как создать образец из текстуры DirectX.

У меня кончились вещи, чтобы попробовать.
Кто-нибудь там использовал этот API раньше и может думать о вещах, которые я должен проверить, или о том, как я могу отлаживать это?

Answer 1

Прежде всего, вы должны научиться использовать mftrace tool. Скорее всего, он сразу скажет вам о проблеме.

Но я предполагаю, что возможны следующие проблемы.

1. Возможно, некоторые другие атрибуты необходимы помимо SampleTime/SampleDuration.

2. Возможно, SinkWriter нуждается в текстуре, которую он может читать на процессоре. Чтобы исправить это, когда доступен кадр, создайте промежуточную текстуру того же формата + размер, вызовите CopyResource, чтобы скопировать рабочий стол в промежуточную текстуру, а затем передать эту промежуточную текстуру в MF.

3. Даже если вы используете аппаратный кодер, поэтому процессор никогда не пытается прочитать данные текстуры, я не думаю, что это хорошая идея, чтобы напрямую передать текстуру вашего рабочего стола в MF.

Когда вы устанавливаете текстуру D3D для образца, данные не копируются нигде, образец просто сохраняет текстуру.

MF работает асинхронно, он может буферизовать несколько выборок в своих узлах топологии, если они этого захотят.

DD дает вам данные синхронно, вы можете получить доступ только к тексту между вызовами AcquireNextFrame и ReleaseFrame.