MediaRecorder, субтитры и субтитры

Question

Возможно ли использовать MediaRecorder для мультиплексирования дорожки WebVTT (или любого другого трека для титров и субтитров) в выходной поток вместе с аудио и видео дорожками?

WebM supports a WebVTT track. Существует W3C doc from 2012, который вкратце упоминает дорожки с надписью как возможность.

Есть ли поддержка для субтитров внутри группы сегодня? Если да, то как его использовать?

Answer 1

Поскольку TextTrack добавлен в videoElement, ваш лучший выбор был бы с методом videoElement.captureStream(), но в настоящее время он не включает TextTracks.

Спекуляции о Media Capture from DOM Elements только утверждает, что

Оба MediaStream и HTMLMediaElement разоблачить понятие "дорожкой". Поскольку для HTMLMediaElement нет общего типа, этот документ использует термин track для ссылки на VideoTrack или AudioTrack.

Таким образом, мы можем только сказать, что это не говорит о TextTracks ...

MediaStream.addTrack может обрабатывать только MediaStreamTracks так что это не-го тоже.

Это, к сожалению, приводит к nope. (По крайней мере, в настоящее время - спецификации могут добавить его в будущем, и я думаю, вы можете об этом open an issue here).

A small playground

Answer 2

Ваша ссылка на рабочий проект W3C от 06 марта 2012 года имеет следующее.

Хотя непосредственно не применимы к местным сценариям медиа потока (подпись поддержка обычно делается вне полосы от первоначального захвата), это может быть что-то стоит добавить, чтобы интегрировать с HTML5 видео, когда source - это PeerConnection, где в режиме реального времени отображаются субтитры и их необходимо отобразить.

https://www.w3.org/TR/capture-scenarios/#caption-tracks

Это упоминает его как возможность, но это означает, что не было реализовано, и насколько я знаю, это не было так.

Трудно доказать отрицательный результат. Тем не менее, пожалуйста, дайте это через несколько дней, прежде чем принять это как ответ, если я ошибаюсь.