Как извлечь ключевые кадры, наиболее близкие к данным номерам кадров от H264 видео с FFmpeg

Question

Я знаю, как извлечь набор кадров как JPG файлы из видео с помощью FFmpeg, если вы знаете, номера кадров (ниже)

Extracting Frames: [40, 59, 73, 110] 
/usr/bin/ffmpeg -y -hide_banner -nostats -loglevel error -i /home/pi/movie.mp4 -vf select='eq(n\,40)+eq(n\,59)+eq(n\,73)+eq(n\,110)',scale=640:-1 -vsync 0 /tmp/%04d.jpg 

Это будет извлекать кадры [40, 59, 73, 110] в виде файлов /tmp/0000.jpg, /tmp/0001.jpg и т.д.

Я также знаю, как извлечь все ключевые кадры для данного период времени:

ffmpeg -ss <start_time> -i video.mp4 -t <duration> -q:v 2 -vf select="eq(pict_type\,PICT_TYPE_I)" -vsync 0 frame%03d.jpg 

Это позволит получить все I-кадры от start_time до start_time+duration.

Но то, что я хотел бы сделать, это предоставить список номеров кадров и ffmpeg извлечь самые близкие ключевые кадры для каждого номера кадра. Есть ли способ сделать это с помощью ffmpeg или мне нужно написать свою собственную программу ontop libavcodec, чтобы сделать это?

Answer 1

Сначала нам нужны некоторые данные испытаний. Обратите внимание, что вы можете пропустить команды FFmpeg, если вы делаете это самостоятельно ; это просто, как я пришел о заключительных команд:

ffprobe -select_streams v -show_entries frame=pict_type -of flat \ 
'Breaking Bad 5x4 Fifty-One.mp4' > pict_type.txt 

Теперь найдем наибольшее окно:

#!/usr/bin/awk -f 
BEGIN { 
    FS = "[.\42]" 
} 
$5 != "I" { 
    pa++ 
} 
$5 == "I" { 
    qu = pa > qu ? pa : qu 
    pa = 1 
} 
END { 
    print qu 
} 

Запуск это дает 240, что означает, что радиус 120. Если наша цель рама 1000:

ffmpeg -i 'Breaking Bad 5x4 Fifty-One.mp4' \ 
-vf "select='eq(pict_type,I)*lt(abs(n-1000),120)'" -frames 1 outfile.jpg 

Если наши целевые кадры 1000 и 2000:

ffmpeg -i 'Breaking Bad 5x4 Fifty-One.mp4' \ 
-vf "select='eq(pict_type,I)*(lt(abs(n-1000),120)+lt(abs(n-2000),120))'" \ 
-frames 2 -vsync 0 %d.jpg 

http://ffmpeg.org/ffmpeg-utils.html#Expression-Evaluation

Answer 2

Если скорость является основной проблемой, вы можете выбрать, чтобы пропустить, не являющиеся ключевыми кадрами на этапе Demuxer.

ffmpeg -discard nokey -i video.mp4 -q:v 2 -vf select="eq(pict_type\,PICT_TYPE_I)" -vsync 0 frame%03d.jpg 

Это должно обеспечить скорость 20-100x.

Если вам нужно извлечь все ключевые кадры в пределах определенного радиуса с возможностью отбрасывания, используйте

ffmpeg -discard nokey -i video.mp4 -q:v 2 -vf select="eq(pict_type\,PICT_TYPE_I)*(lt(abs(t-14),3)+lt(abs(t-107),3)+lt(abs(t-2113),3))" -vsync 0 frame%03d.jpg 

Здесь ключевые кадры с радиусом 3 секунды раз т = 14s, 107S и 2113s будут выбраны.

Вы не можете ссылаться на n с discard, так как нумерация будет неправильно -> FFmpeg только отправка ключевых кадров в фильтре и n представляет счет в отфильтрованных кадров. Таким образом, все переменные и значения находятся в секундах. Если ваше видео является постоянной частотой кадров, то t просто n/ fps