Каков алгоритм выбора лучшей сцены видео?

Question

Когда мы загружаем видео на Youtube или другие сайты для обмена видео, сайт автоматически выбирает лучшую или наиболее представительную сцену из видео, чтобы показать ее как значок видео. Как это делается? Я хочу знать, какие интеллектуальные данные или другие алгоритмы необходимо изучить, чтобы извлечь наиболее подходящую сцену из видео. Любые указатели на литературу или реализации были бы очень полезными.

Answer 1

Я сильно подозреваю, что "алгоритм" грубо (в псевдокоде):

Random(0, clip.Length) 

Answer 2

Мое предположение:

1. i = 1
2. Сравнить кадр i с рамкой i-1 (используя, например, сумму квадратов разницы в интенсивности цвета пикселей)
3. Является ли разница> preset_threshold?
   1. Если да: последовательность кадров ниже порога только что закончилась. Это самая длинная последовательность?
      1. Если да, то: best = начало этой последовательности.
4. i++
5. Если i < length_of_clip: Goto 2.
6. Выберите кадр best.

Идея: найти самую длинную «сцену» (серия кадров, переходы которой находятся ниже некоторого произвольного порога) и показать первый кадр в этой серии.

Answer 3

Простым решением является извлечение некоторых кадров видео и их отображение в случайном порядке. Отслеживая скорость клика пользователя, Youtube уже знает, как ранжировать эти фреймы.