Viewport в 360 видео и панорамных видеороликах в гарнитурах VR

Question

Я пытаюсь узнать, как видео на 360 градусов доступно в настоящее время в наушниках VR, таких как Oculus или Samsung Gear VR. По-видимому, они используют понятие панорамных видеороликов (видео на 360 градусов). Я делал некоторые тесты и заметил, что необработанное видео больше в разрешении, а внутри VR изначально показана специальная область (которая прямо перед глазами), которая находится внутри окна просмотра. Пользователь также может изменить вид по своему желанию.

Вот образец необработанного 360 панорамного видео:

А вот как внутри гарнитуры VR, такие как шестерни VR это видно (основное окно просмотра):

Теперь мой вопрос заключается в том, что если есть какие-либо способы определить, какая часть необработанного видео на самом деле находится сейчас в окне просмотра? Я имею в виду, можем ли мы обнаружить (почти), какая часть 360-видео теперь видна? Есть ли какой-либо API, который предлагает гарнитуры VR, такие как Gear VR, Oculus, Unity3D или любой другой инструмент, связанный с VR, чтобы знать, что, возможно, используя некоторые датчики или другую информацию?

У меня есть ограниченная информация, поэтому любая информация в этом отношении полезна для меня.

Answer 1

Если вы имеете в виду, что игрок может определить, какая часть сферы находится в строке зрения зрителей, тогда ответ да, так как игроку действительно необходимо выполнить преобразование на необработанном видео, чтобы создать представление, которое пользователь на самом деле глядя в тот момент.

Он делает это, принимая входные сигналы от датчиков устройства или клавиатуры, если он отображается в браузере, например, и определяет это, когда пользователь смотрит на любой данный момент.

Исходя из этого, игрок будет применять преобразования к необработанному видео, чтобы отображать на экране только часть видео, которое должно быть в зоне видимости пользователей.

Если вы спрашиваете, может ли сервер, «служащий» видео знать, где линия видимости пользователей в любой момент времени, то ответ не такой, как он просто служит для полного 360 необработанного видео (для большинства реализаций на на этот раз в любом случае).

Возможно, игроку будет предоставлена ​​возможность отчитываться аналитике на сервере, указывая на просмотр пользователей и сообщая о любых изменениях, но это будет зависеть от каждого игрока в отдельности. Определенно, компании уже подчеркивают способность предоставлять 360 видеоаналитиков в партнерстве или создавать определенные игроки.