Android - Get byte [] from Surface/virtualDisplay

Question

Я пытаюсь отобразить экран моего устройства Android в браузере, используя projection API и Webrtc.

Projection API выводит свой вывод на Surface и возвращает виртуальное изображение. Я сделал это до этого. Я видел библиотеку webrtc для Android. они сделали это для ввода только с камеры устройства. Я пытаюсь прочитать и изменить код webrtc, чтобы передать все, что показано на поверхности.

Мой вопрос: как я могу получать байт [] данные из surface, как функция Camera.PreviewCallback. Какие еще доступны другие варианты?

Answer 1

Вот как я решил свою проблему. Я использовал класс ImageReader как

imageReader = ImageReader.newInstance(displayWidth, displayHeight, PixelFormat.RGBA_8888, 2); 
mediaProjection.createVirtualDisplay("screencapture", 
        displayWidth, displayHeight, density, 
        flags, imageReader.getSurface(), null, handler); 
imageReader.setOnImageAvailableListener(new ImageAvailableListener(), null); 


private class ImageAvailableListener implements ImageReader.OnImageAvailableListener { 
    @Override 
    public void onImageAvailable(ImageReader reader) { 
     Image image = null; 
     Bitmap bitmap = null; 

     ByteArrayOutputStream stream = null; 

     try { 
      image = imageReader.acquireLatestImage(); 
      if (image != null) { 
       Image.Plane[] planes = image.getPlanes(); 
       ByteBuffer buffer = planes[0].getBuffer(); 
       int pixelStride = planes[0].getPixelStride(); 
       int rowStride = planes[0].getRowStride(); 
       int rowPadding = rowStride - pixelStride * displayWidth; 

       // create bitmap 
       bitmap = Bitmap.createBitmap(displayWidth + rowPadding/pixelStride, 
         displayHeight, Bitmap.Config.ARGB_8888); 
       bitmap.copyPixelsFromBuffer(buffer); 
        stream = new ByteArrayOutputStream(); 
        bitmap.compress(Bitmap.CompressFormat.JPEG, 50, stream); 
        StringBuilder sb = new StringBuilder(); 
        sb.append("data:image/png;base64,"); 
        sb.append(StringUtils.newStringUtf8(Base64.encode(stream.toByteArray(), Base64.DEFAULT))); 
       WebrtcClient.sendProjection(sb.toString()); 
      } 

     } catch (Exception e) { 
      e.printStackTrace(); 
     } 

Я превращающий байты [] в Base64 строку и отправкой к через WebRTC datachannel.