Как работают плагины для браузера мультимедиа?

Question

Если я хочу использовать Google Video chat в своем браузере Мне нужно загрузить и установить плагин для его работы.
Я хотел бы сделать часть программного обеспечения, которая создает
некоторые взаимодействия с видео, отображаемым в браузере.

Я предполагаю, что это может быть проблематично сделать это с одним решением для всех браузера, так что, если я, возможно, придется сосредоточиться на только один браузер позволяет говорить о светлячок, хотя я думаю, что аддон SDK Firefox не будет позвольте мне сделать нечто сложное, как видео-взаимодействие.

Но как работает плагин Google Video chat для браузеров? Это только пример для одного из этих плагинов, который позволяет делать действия (медиа в этом случае) с вашим браузером , которые обычно невозможны.

Answer 1

Как я понимаю, Google Video Chat использует Flash.

Я ищу что-то официальный вид на спину, что сейчас ...

---

Edit: Я думаю this объясняет это довольно хорошо.

Flash Player предоставляет определенные функции аудио/видео для приложения (SWF). Но Flash Player не предоставляет доступ к исходным аудио/видеоданным в реальном времени для приложения. Существуют некоторые классы и методы API ActionScript: класс Camera позволяет вам снимать видео с камеры, класс микрофона позволяет захватывать звук с вашего микрофона, классы NetConnection/NetStream позволяют передавать видео с Flash Player на удаленный сервер и наоборот, класс Video позволяет отображать видео, захваченное камерой или полученное на NetStream. Учитывая это, чтобы отобразить видео в Flash Player, видео должно быть либо захвачено объектом Camera, либо получено с удаленного сервера в NetStream. К счастью, ActionScript позволяет вам выбрать, какую камеру использовать для захвата.

Когда плагин Google установлен, он представляет собой два устройства камеры; фактически виртуальных драйверов устройств. Эти устройства называются «Google Camera Adapter 0» и «Google Camera Adapter 1», которые вы можете увидеть в настройках Flash Player при щелчке правой кнопкой мыши по видео. Одно из устройств используется для отображения локального видео, а другое - для отображения видео с удаленным участником. Плагин Google также реализует полный сетевой протокол и стек, которые, на мой взгляд, основаны на протоколе GTalk. В частности, он реализует XMPP с расширением Jingle (P2P) и транспортный носитель на основе UDP для транспортировки аудио/видео в реальном времени. Аудиоканал полностью не зависит от Flash Player. В видео-пути: плагин захватывает видео с фактического устройства камеры, установленного на вашем ПК, и отправляет его в Flash Player через один из драйверов устройства виртуальной камеры. Он также кодирует и отправляет видео удаленному пользователю. В обратном направлении он получает видео (через UDP) от удаленного пользователя и передает его проигрывателю Flash через второй драйвер устройства виртуальной камеры. Приложение SWF, запущенное в браузере, создает два объекта Video и прикрепляет их к двум объектам камеры, по одному для двух виртуальных видеоустройств, вместо того, чтобы прикреплять их к вашему реальному устройству камеры. Таким образом, приложение SWF может отображать локальное и удаленное видео в приложении Flash.