Как получить исходные данные изображения датчика камеры Android с помощью JNI + OpenCV + NDK?

Question

Я использую camera2 api для своего приложения, которое основано на Camera2Raw.

mRawImageReader = ImageReader.newInstance(largestRaw.getWidth(), 
     largestRaw.getHeight(),ImageFormat.RAW_SENSOR, /*maxImages*/ 

У меня есть image от ImageReader.OnImageAvailableListener, вместо сохранения файла DNG, я передаю его байтовый массив в моей родной функции OpenCV к процессу:

int w = image.getWidth(); 
int h = image.getHeight(); 
ByteBuffer buffer = planes[0].getBuffer(); 
byte[] data = new byte[buffer.remaining()]; 
buffer.get(data); 
addShot(w, h, data); 
image.close(); 

и функции C++:

JNIEXPORT jboolean JNICALL addShot(JNIEnv* env, jobject obj, jint width, jint height, jbyteArray p_data) 
    { 
     jbyte* _p_data= env->GetByteArrayElements(p_data, 0); 
     Mat srcBGR(height, width, CV_8UC3); 
     Mat mdata(height, width, CV_8UC3, (unsigned char *)_p_data); 
//  Mat tmp_mat= imdecode(mdata,1); 
     cvtColor(mdata, srcBGR, CV_RGB2BGR); 
     env->ReleaseByteArrayElements(p_data, _p_data, 0); 
    } 

Первый. для обеспечения уверенности, я пытаюсь сохранить как JPEG на стороне C++. Но результат имеет много зеленых цветов.

Я думаю, что в моем коде на C++ отсутствует часть.

Может ли кто-нибудь помочь в этом?

Answer 1

Обработка данных Bayer RAW не является тривиальным - это необработанное считывание значений пикселей с датчика, и вам нужно много дополнительных метаданных и обработки, чтобы преобразовать их в видимое изображение. Если вы не знаете, как это сделать, я не рекомендую попробовать - вы можете просто подключить библиотеку, например Adobe's DNG SDK, или libraw.

Вы уверены, что не хотите, чтобы данные YUV_420_888 обрабатывались, но несжаты?

Answer 2

После записи данных изображения RAW с помощью простой функции OpenCV считывается из буферной памяти.

Mat mImageMat; 
mImageMat = Imgcodecs.imdecode(new MatOfByte(data), Imgcodecs.CV_LOAD_IMAGE_UNCHANGED); 

где, mImageMat is Mat класс контейнера изображений.

Тогда обработка изображения будет простой.