Hololens - Доступ к рамкам камеры

Question

Как я могу получить доступ ко всем кадрам в видеопотоке из камеры голонов в режиме 3D? Я использую C#.

Единство VideoCapture класс не кажется, чтобы обеспечить это: http://docs.unity3d.com/550/Documentation/ScriptReference/VR.WSA.WebCam.VideoCapture.html

и Microsoft MediaCapture класс с методом MediaCapture.StartPreviewToCustomSinkAsync не очень хорошо документированы. https://msdn.microsoft.com/en-us/library/windows/desktop/ms701626(v=vs.85).aspx

Answer 1

Вы можете попробовать использовать MediaCapture FrameReader API

Документация: https://msdn.microsoft.com/en-gb/windows/uwp/audio-video-camera/process-media-frames-with-mediaframereader#create-a-frame-reader-for-the-frame-source

Пример кода: https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames

Answer 2

Мы сделали проект с открытым исходным кодом под названием CameraStream для удовлетворения этой потребности. Как плагин Unity, он использует MediaCapture для подачи байтового массива в Unity (наряду с локализованными матрицами). Оттуда вы можете назначить байты Texture2D, как показано в представленном примере Unity.

Наш класс VideoCapture mimic's Unity's class of the same name, чтобы разработчики знали, как его использовать. Мы также предполагаем, что эта функциональность будет предоставлена ​​Unity из коробки в конечном итоге.