Как отобразить текст в режиме реального видеопотока распознавания жестов руки с помощью opencv + python

Question

Я использую малину pi3, и я написал код распознавания рук с помощью OpenCV с помощью python. Но теперь я хочу напечатать текст, похожий на «слева направо», на экране живого видеопотока, когда рука движется слева направо и печатает текст как «справа налево», когда рука движется справа налево.

Теперь, когда мой вопрос: cv2.putText(), мы можем отобразить текст, но как найти направление, в котором рука перемещается слева направо или наоборот?

У кого-нибудь есть идея, как отобразить этот текст? Ответьте, пожалуйста. Заранее спасибо.

Answer 1

Если я правильно понимаю, вы уже признаете руку (область интересов aka ROI) и просто задаетесь вопросом, как узнать, движется ли она влево или вправо. Чтобы распознать это, вы должны сохранить историю своего местоположения. Просто запомните несколько кадров, где была рука.

import numpy as np 
from collections import deque 

cx_hist = deque(maxlen=10) # how many frames history 
while True: 
    ... 
    M = cv2.moments(contour) # the moment of one contour 
    cx = int(M['m10']/M['m00']) # the x coordinate of the centroid 

    cx_hist.append(cx) 
    diff = [cx_hist[i+1]-cx_hist[i] for i in range(len(cx_hist)-1)] 

    treshold = 2 # some treshold of significant (pixel) movement 
    if np.mean(diff) > treshold: 
     print('positive means movement to the right') 
    elif np.mean(diff) < treshold*-1: 
     print('negative means movement to the left') 
    else: 
     print('below the tresholds there is little movement') 

Вы должны преобразовать его в puttext самостоятельно. Я использовал координаты центра, но вы могли бы выбрать что-то еще. См. http://docs.opencv.org/3.1.0/dd/d49/tutorial_py_contour_features.html