Анализ по кадру из .mov с использованием ffmpeg

Question

Я пытаюсь разобрать кадры H.264 из файла .mov. Думаю, я пришел к выводу, что mov.c из AVFormat-части FFMPEG - это путь. Но mov.c составляет ~ 2600 строк рядом с незарегистрированным кодом. Я ищу примеры использования FFMPEG, особенно для синтаксического анализа структуры любого типа файла. неважно, является ли это MPEG4 или Quicktime Movie, поскольку они очень похожи по своей структуре.

Если нет существующих примеров (я не могу найти их), возможно, кто-то использовал его и может дать мне пару строк кода или объяснить, как начать работу?

То, что я пытаюсь сделать: я использую AVCaptureSession для захвата образцов с видеокамеры, эти образцы затем кодируются в H264 и записываются в файл с помощью AVAssetsWriter, AVAssetsWriterInput и AVAssetsWriterInputPixelBufferAdaptor. Причина в том, что я не могу получить доступ к аппаратной кодировке H264 напрямую, так как Apple этого не допустит. Что теперь мне нужно сделать (я думаю, не уверен) это разобрать:

The «MDAT» -атом (данные Movie, может быть больше, чем один я думаю) из файла .mov. , тогда «vide» -атом, а затем в виде-атоме (образец видеоданных может быть более одного). Я думаю, что будет несколько атомов, которых я считаю рамками. они будут иметь тип «avc1» (это тип для H264). Пожалуйста, исправьте меня в этом, потому что я абсолютно уверен, что я не получил все это правильно, но.

Мой вопрос в том, как я могу разобрать отдельные кадры. Я читал the documentation и смотрел iFrameExtractor (что не очень полезно, так как он декодирует кадры). Я думаю, что правильно понял, когда я должен использовать mov.c из FFMPEG-AVFormat, но я не уверен.

Edit: Я сейчас пытаюсь так:

1. я бегу немного уменьшенную функцию инициализации я iFrameExtractor, который находит видеопоток в .mov-файл.

2. я получаю данные для кадра, как это:

   AVPacket packet; 
   av_read_frame(pFormatCtx, &packet); 
   NSData *frame; 
   if(packet.stream_index == videoStream){ 
       frame = [NSData dataWithBytes:packet.data length:packet.size]; 
   } 
   videoStream++; 
   av_free_packet(&packet); 
   return frame; 
   

я затем передать его в подкласс NSOperation, где он сохраняется в ожидании загрузки. , но я получаю EXC_BAD_ACC, неужели я что-то делаю неправильно при копировании данных из фрейма? есть идеи. Я получаю EXC _..., когда пытаюсь установить переменную класса NSData* frame, используя ее (неатомное, сохраняющее) свойство. (он говорит EXC_BAD_ACC в строке синтеза)

Answer 1

я использую следующий для разбора каждого кадра из файла мов.

-(NSData *)nextFrame { 
    AVPacket packet; 
    NSData *frame = nil; 

    while(!frame && av_read_frame(pFormatCtx, &packet)>=0) { 

     if(packet.stream_index == streamNo) { 
      frame = [[[NSData alloc] initWithBytes:packet.data length:packet.size] autorelease]; 
     } 
     av_free_packet(&packet); 
    } 
    return frame; 
} 

хотя следить, так как av_read_frame не проверяет кадры, что делается на этапе декодирования. это означает, что возвращенные «кадры» могут содержать дополнительную информацию, которая не является частью реального кадра.

чтобы инициализировать AVFormatContext * pFormatCtx и AVCodecContext * pCodecCtx Я использую этот код (который я считаю, является производным от кода примера Мартина Беме в):

AVCodec *pCodec; 

    // Register all formats and codecs 
    av_register_all(); 

    // Open video file 
    if(avformat_open_input(&pFormatCtx, [moviePath cStringUsingEncoding:NSASCIIStringEncoding], NULL, NULL)!=0) 
     goto initError; // Couldn't open file 

    // Retrieve stream information 
    if(avformat_find_stream_info(pFormatCtx,NULL)<0) 
     goto initError; // Couldn't find stream information 

    // Find the video stream 
    streamNo = -1; 
    for(int i=0; i<pFormatCtx->nb_streams; i++){ 
     if(pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) 
     { 
      streamNo = i; 
      break; 
     } 
    } 
    if(streamNo == -1) 
     goto initError; // Didn't find a video stream 

    // Get a pointer to the codec context for the video stream 
    pCodecCtx=pFormatCtx->streams[streamNo]->codec; 

    // Find the decoder for the video stream 
    pCodec=avcodec_find_decoder(pCodecCtx->codec_id); 
    if(pCodec==NULL) 
     goto initError; // Codec not found 

    // Open codec 
    if(avcodec_open2(pCodecCtx, pCodec, NULL)<0) 
     goto initError; // Could not open codec 

    return self; 

initError: 
    NSLog(@"initError in VideoFrameExtractor"); 
    [self release]; 
    return nil; 

надеюсь, что это поможет кому-то в будущем.

Answer 2

Существует неплохой учебник по использованию libavcodec/libavformat here. Бит кажется, что вас интересует функция DoSomethingWithTheImage(), которую они оставили незавершенной.

Answer 3

Если вы перекачиваете H264 в iOS, вам нужна сегментированная потоковая передача (например, прямая трансляция Apple).

Вот открытый проект источника: http://code.google.com/p/httpsegmenter/