Android WebRTC - Mix AudioTracks для конференции

Question

Я пытаюсь решить проблему с помощью встроенного Android-приложения WebRTC. Я успешно адаптировал AppRTCDemo от вызова 1-1 к вызовам 1-N. В настоящее время у меня есть следующий сценарий:

• А (я) может поговорить с/слушать B
• А (я) может поговорить с/слушать C
• B и C не может говорить или слушайте друг друга.

Для достижения этой цели I (A) есть 2 PeerConnections соответственно с B и C. Я понимаю, что нужно смешать некоторые, как мультимедийные потоки или звуковые дорожки, или другими словами:

• Mix (A, B) -> отправить C

• Mix (A, C) -> отправить B

Любые указатели о том, как добиться этого? Thank you

Answer 1

Я считаю, что вы отправляете один и тот же локальный поток обеим сторонам (party-B и party-C) в multiconnection, потому что, если вы попытаетесь создать разные локальные потоки для разных подключений, это вызовет ошибку, поскольку она попытается снова получить доступ к микрофону и фотоаппарату, что невозможно (я считаю).

Вы должны создать localstream что-то вроде этого:

stream = sessionFactory.createLocalMediaStream(LOCAL_MEDIA_ID); 

Для отправки потока Party-B Стороне-C вы можете сделать это:

• step1-- создать соединение между p2p party-A и party-B
• step2-- создать p2p-соединение между party-A и party-C

• step3-- при добавлении локального потока, который вы вызываете mething как этот

  peerconnection2.addStream(myStream) 
  

На месте myStream (для взаимного соединения с C), вы можете добавить в remoteStreamB (удаленный поток, который вы получаете от B). Это добавит поток, который вы получаете от B, как localstream во второй PeerConnection, который с С.

Для отправки удаленного потока от Party-C Стороне-B:

• Предположим, вы peerconnection1 с партией -B. Чтобы добавить удаленный поток из C в локальный поток, вам сначала нужно удалить текущие треки, а затем добавить новые треки.

• для этого вы можете сделать что-то вроде этого

  AudioTrack t1 = mystream.audioTracks.get(0); 
  VideoTrack v1 = myStream.videoTracks.get(0); 
  if(myStream.removeTrack(t1)){ 
  if(myStream.removeTrack(v1)){ 
      t1 = remoteStreamC.audioTracks.get(0); 
      v1 = remoteStreamC.videoTracks.get(0); 
  
      myStream.addTrack(t1); 
      myStream.addTrack(v1); 
  } 
  } 
  

  Этим способом вы будете изменять содержание localstream, что вы отправляете в B. Теперь, когда поток будет иметь аудио и видео треков, поступающих от remotestreamC ,

Но, чтобы сделать эту ошибку процесс освобождения вы должны использовать обработку ошибок, потому что, когда кто-то разрывает соединение (или B или C), вы будете получать нулевые дорожки .... В этом случае вам придется немедленно отправьте запрос на зависание другой стороне.