Windows, MFT (Media Foundation Transform) декодер не возвращает правильное время выборки или длительности

Question

Для декодирования H264 потока с основой Windows Media Transform, поток работы в настоящее время что-то вроде этого:

IMFSample sample; 
sample->SetTime(time_in_ns); 
sample->SetDuration(duration_in_ns); 
sample->AddBuffer(buffer); 

// Feed IMFSample to decoder 
mDecoder->ProcessInput(0, sample, 0); 

// Get output from decoder. 
/* create outputsample that will receive content */ { ... } 
MFT_OUTPUT_DATA_BUFFER output = {0}; 
output.pSample = outputsample; 
DWORD status = 0; 
HRESULT hr = mDecoder->ProcessOutput(0, 1, &output, &status); 
DWORD status = 0; 
hr = mDecoder->ProcessOutput(0, 1, &output, &status); 
if (output.pEvents) { 
    // We must release this, as per the IMFTransform::ProcessOutput() 
    // MSDN documentation. 
    output.pEvents->Release(); 
    output.pEvents = nullptr; 
} 

if (hr == MF_E_TRANSFORM_STREAM_CHANGE) { 
    // Type change, probably geometric aperture change. 
    // Reconfigure decoder output type, so that GetOutputMediaType() 
} else if (hr == MF_E_TRANSFORM_NEED_MORE_INPUT) { 
    // Not enough input to produce output. 
} else if (!output.pSample) { 
    return S_OK; 
} else } 
    // Process output 
} 

}

Когда мы подавали все данные в MFT декодер, мы должны осушить его:

mDecoder->ProcessMessage(MFT_MESSAGE_COMMAND_DRAIN, 0); 

Теперь, одна вещь с декодером WMF H264, является то, что он обычно не выводится все, что было вызвано с более чем 30 сжатыми кадрами h264 независимо от размера скользящего окна h264. Латентность очень высока ...

Я столкнулся с проблемой, которая очень хлопотная. С видео, сделанным только из ключевых кадров, и который имеет только 15 кадров, каждый из которых имеет длину 2 с, первый кадр имеет время представления отличного от нуля (этот поток из живого контента, поэтому первый кадр, как правило, находится в времени эпоса) Таким образом, без дренирования декодера ничего не выйдет из декодера, так как он не получил достаточного количества кадров.

Однако, как только декодер разрядится, декодированный кадр выйдет. ОДНАКО, MFT-декодер установил все длительности только 33,6 мс, а время представления первого отснятого образца всегда 0. Исходная продолжительность и время представления потеряны.

Если вы предоставите более 30 кадров к h264 декодер, то и продолжительность и баллы действительны ...

Я еще не нашел способ, чтобы получить WMF декодер для вывода образцов с соответствующим значением. Похоже, что если вам нужно слить декодер, прежде чем он выведет какие-либо образцы сам по себе, то он полностью сломан ...

У кого-нибудь возникли такие проблемы? Как вы обошли его?

Спасибо заранее

редактирование: образец видео доступно на http://people.mozilla.org/~jyavenard/mediatest/fragmented/1301869.mp4 Воспроизведение видео с Firefox будет заставляет его играть очень быстро из-за проблем, описанных выше.

Answer 1

Я не уверен, что ваш рабочий поток верен. Я думаю, что вы должны сделать что-то вроде этого:

do 
{ 
    ... 
    hr = mDecoder->ProcessInput(0, sample, 0); 
    if(FAILED(hr)) 
     break; 
    ... 
    hr = mDecoder->ProcessOutput(0, 1, &output, &status); 
    if(FAILED(hr) && hr != MF_E_TRANSFORM_NEED_MORE_INPUT) 
     break; 
} 
while(hr == MF_E_TRANSFORM_NEED_MORE_INPUT); 

if(SUCCEEDED(hr)) 
{ 
    // You have a valid decoded frame here 
} 

Идея заключается в том, чтобы продолжать называть ProcessInput/ProcessOuptut в то время как ProcessOutput возвращает MF_E_TRANSFORM_NEED_MORE_INPUT. MF_E_TRANSFORM_NEED_MORE_INPUT означает, что декодеру требуется больше ввода. Я думаю, что с этим циклом вам не нужно будет истощать декодер.