Выражения распознавание лица Подготовка данных для CNN

Question

Я совершенно новый для области распознавания мимики лица и в настоящее время я делаю исследование по этому вопросу с помощью Deep Learning специально CNN. У меня есть некоторые вопросы относительно подготовки и/или предварительной обработки моих данных.

У меня есть сегментированное видео лобных мимик (например, 2-3 секунд видео человека, выражающий счастливой эмоцию, основанная на его/ее аннотацию).

Примечание: выражения, выводимые моих участники довольно низкая интенсивность (не преувеличенные выражения/микро-выражения)

Общего Вопрос: Теперь, как я должен подготовить свои данные для обучения с CNN (I я немного склонен к использованию глубокой учебной библиотеки, TensorFlow)?

Вопрос 1: Я прочитал некоторое глубокое признание мимики обучения на основе (ЧОК) документы, которые свидетельствуют, чтобы взять пик этого выражения (скорее всего, одно изображения) и использовать это изображение, как часть ваших данных обучения , Как узнать пик выражения? Какова моя основа? Если я собираюсь взять одно изображение, не будут ли потеряны некоторые важные рамки тонкости выражения, отображаемые моими участниками?

Вопрос 2: Или было бы также правильно выполнить сегментированного видео в OpenCV для обнаружения (например, Viola-Jones), обрезать и сохранить его лица в каждом кадре, и использовать эти изображения как часть моего обучения данные с соответствующими метками? Я предполагаю, что некоторые рамки граней будут лишними. Однако, поскольку мы знали, что участники наших данных показывают низкую интенсивность выражений (микро-выражения), некоторые движения лица также могут быть важными.

Я был бы очень признателен всем, кто может ответить, спасибо много!

Answer 1

как @unique обезьяны уже отмечался, это, как правило, контролируемая задача обучения. Если вы хотите извлечь независимую «пик» точки, я рекомендую вам сканировать входные изображения и найти один в каждой последовательности, чьи опорные точки отклоняются большинство из состояния покоя субъекта.

Если вы не получили состояние покоя, то как видео ролики обрезаны? Например, были ли испытуемые выносить выражение и удерживать его? Какая часть общего выражения (до, экспресс, после) покрывает клип? Возьмите одну или обе конечные точки видеоролика; график движения опорных точек с каждого конца, и смотреть для кадра, в котором разность является наибольшей, а затем поворачивает по направлению к другой конечной точке.

Answer 2

ответ 1: Обычно мы всегда зависим от чувства человека, чтобы решить, какое выражение является вершиной выражения (я думаю, вы можете различить разницу в улыбке и смехе)

ответа 2: если вы хочу, чтобы получить хороший результат, я предлагаю вам не относиться к данным так грубо, как этот метод