Найти активный динамик в аудиоконференции

Question

Как сервер, на котором работает аудиоконференция, находит, кто является активным динамиком/динамиками? Я хочу показать значок рядом с пользователями, которые в настоящее время говорят, и показать видео активного динамика.

Я думаю, что нужно что-то вроде:

• Вычислить оценку для каждого использования на основе аудио/мощности/уровней энергии.
• Нормализовать оценку между всеми пользователями.
• Рассчитайте оценку на нескольких звуковых кадрах, чтобы предотвратить быстрые изменения.

Нужно ли делать вычисления на необработанном звуке или можно получить оценку из закодированных пакетов (speex/opus)? Есть ли способ извлечь эту информацию из протокола, передающего аудио (RTMP или SDP)?

В FreeSwitch есть status field для каждого участника с флагами для разговора и владельца пола. Это код, который calculates the score, но я не могу понять, как это работает.

Благодаря

Answer 1

Обычно участник, который посылает громкий звуковой поток считается "активный динамик.

Итак, вам нужно рассчитать громкость для каждого аудиопотока. Как измерять громкость зависит от кодирования вашего аудиопотока. Проверьте это question на том, как рассчитать громкость звука PCM.