Матч-эскиз (рисование) лицо фото к цифровому цвету фото

Question

Я собираюсь совместить лицо эскиза (рисунок фото) на цветной фотографии. поэтому для исследования я хочу выяснить, каковы проблемы, связанные с рисованием эскиза, в цвет лица. сейчас я узнать, что

1. разница пикселей
2. разницы текстуры
3. разница расстояния
4. и цвета (не много эффекта)

Я хочу знать (в технических терминах) Какие существуют другие проблемы и какие существуют методы и алгоритмы для преодоления этих проблем OPEN CV и JAVA CV?

Вот несколько примеров из эскизов и фотографий, которые, как известно, чтобы соответствовать им:

Answer 1

Вы могли бы дать Eigenfaces попробовать, хотя я никогда не проверял их с эскизами я думаю, что они могли бы наименее быть хорошей отправной точкой для ваших исследований.

См Wiki: http://en.wikipedia.org/wiki/Eigenface и Учебник для OpenCV: (! Включая не только Eigenfaces) http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html

Answer 2

Я думаю, что старые работы Джеймса старейшины на полноту края карты (с помощью реконструкции путем решения уравнения Лапласа) является здесь весьма уместно. См. Результаты в конце этой статьи: http://elderlab.yorku.ca/~elder/publications/journals/ElderIJCV99.pdf

Answer 3

Эта проблема называется мультимодальным распознаванием лиц. Был большой интерес к сравнению высококачественного mugshot (модальность 1) с изображениями низкого качества наблюдения (модальность 2), другой - фронтальные изображения для профилей или изображения для эскизов, подобных OP. Частичные наименьшие квадраты (PLS) и Tied Factor Analysis (TFA) были использованы для этой цели.

Ключевой трудностью является вычисление двух линейных проекций из изображения в модальности 1 (и модальности 2) в пространство, где две близкие точки означают, что индивид один и тот же. Это ключевой технический шаг. Вот несколько статей по этому подходу:

1. Abhishek Sharma, David W Jacobs: Bypassing Synthesis: PLS for Face Recognition with Pose, Low-Resolution and Sketch. CVPR 2011.
2. S.J.D. Принц, J.H. Старейшина Дж. Уоррелл, Ф.М. Felisberti, Tied Factor Analysis for Face Recognition across Large Pose Differences, IEEE Patt. Анальный. Мах. Intell, 30 (6), 970-984, 2008. Elder является специалистом в этой области и имеет a variety of papers on the topic.
3. В. Клар, З. Ли и А. К. Jain, Matching forensic sketches to mugshot photos, IEEE Pattern Анализ и машина разведки, 29 сентября 2010.

Как вы можете понять, что это активная область исследований/проблема. В терминах использования OpenCV для преодоления трудностей позвольте мне привести вам аналогию: вам нужно построить построить дом (совпадение с эскизами к фотографиям), и вы спрашиваете, как будет работать с молотом Стэнли (OpenCV). Конечно, это, вероятно, поможет. Но вам также понадобятся многие другие ресурсы: дерево, время/деньги, трубы, кабель и т. Д.

Answer 4

OpenCV может использоваться для извлечения деталей и машинного обучения, необходимых для выполнения этой задачи.Я думаю, вы можете начать с документов в ответах выше, начните с некоторых основных функций и прототипа классификатора с OpenCV.

Я думаю, вы также можете обнаружить и сопоставить точки функции на лицах. Если вы используете этот подход, вам придется самостоятельно выполнять детекторы точек (обучение детектору Viola-Jones в OpenCV с вашими собственными данными является опцией).