PreviewCallback onPreviewFrame不会更改数据

Question

我想对相机中的图像进行一些图像处理，并将其显示在SurfaceView上，但我不知道如何修改相机帧。我尝试使用setPreviewCallbackWithBuffer和onPreviewFrame，但它们不能像预期的那样工作，框架没有被修改。

/** A basic Camera preview class */
public class CameraPreview extends SurfaceView implements
        SurfaceHolder.Callback, Camera.PreviewCallback {
    private SurfaceHolder mHolder;
    private Camera mCamera;
    private byte[] mData;
    private long prevFrameTick = System.currentTimeMillis();
    Canvas mCanvas;

    public CameraPreview(Context context, Camera camera) {
        super(context);
        mCamera = camera;

        // Install a SurfaceHolder.Callback so we get notified when the
        // underlying surface is created and destroyed.
        mHolder = getHolder();
        mHolder.addCallback(this);
        Size previewSize = mCamera.getParameters().getPreviewSize();
        mData = new byte[(int) (previewSize.height * previewSize.width * 1.5)];
        initBuffer();
        // deprecated setting, but required on Android versions prior to 3.0
        mHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
    }

    private void initBuffer() {
        mCamera.addCallbackBuffer(mData);
        mCamera.addCallbackBuffer(mData);
        mCamera.addCallbackBuffer(mData);
        mCamera.setPreviewCallbackWithBuffer(this);
    }

    public void setCamera(Camera cam) {
        mCamera = cam;
        initBuffer();
    }

    public void surfaceCreated(SurfaceHolder holder) {
        // The Surface has been created, now tell the camera where to draw the
        // preview.
        try {
            mCamera.setPreviewDisplay(holder);
            initBuffer();
            mCamera.startPreview();
        } catch (IOException e) {
            Log.d("APP",
                    "Error setting camera preview: " + e.getMessage());
        }
    }

    public void surfaceDestroyed(SurfaceHolder holder) {
        // empty. Take care of releasing the Camera preview in your activity.
    }

    public void surfaceChanged(SurfaceHolder holder, int format, int w, int h) {
        // If your preview can change or rotate, take care of those events here.
        // Make sure to stop the preview before resizing or reformatting it.

        if (mHolder.getSurface() == null) {
            // preview surface does not exist
            return;
        }

        // stop preview before making changes
        try {
            mCamera.stopPreview();
        } catch (Exception e) {
            // ignore: tried to stop a non-existent preview
        }

        // set preview size and make any resize, rotate or
        // reformatting changes here

        // start preview with new settings
        try {
            mCamera.setPreviewDisplay(mHolder);
            initBuffer();
            mCamera.startPreview();
        } catch (Exception e) {
            Log.d("APP",
                    "Error starting camera preview: " + e.getMessage());
        }
    }

    public void onPreviewFrame(byte[] data, Camera camera) {
        // System.arraycopy(data, 0, mData, 0, data.length);
        Log.e("onPreviewFrame", data.length + " "
                + (System.currentTimeMillis() - prevFrameTick));
        prevFrameTick = System.currentTimeMillis();
        mData = new byte[data.length];
        mCamera.addCallbackBuffer(mData);
    }
}

Answer 1

如果使用setPreviewDisplay()调用，则不能修改发送到SurfaceView的预览数据。

您可以选择以下几个选项：

1. 您可以将第二个视图放在SurfaceView的顶部，例如ImageView或另一个SurfaceView，并将onPreviewFrame回调接收到的数据绘制到此视图中。为了显示，您必须从预览回调格式(通常是NV21)进行一些颜色/像素格式转换，显然，您还必须首先对这些数据运行图像处理。这效率不高，除非你愿意写一些JNI代码。在Android3.0或更新版本的
2. 中，你可以使用Camera.setPreviewTexture()方法，并通过使用SurfaceTexture对象将相机预览流输送到OpenGL纹理中，然后在显示之前可以在OpenGL中操作该对象。这样你就完全不需要预览回调了。如果GPU处理足够，这会更有效率。如果您想以其他方式显示/处理预览数据，还可以使用OpenGL readPixels调用将处理后的预览数据返回到应用程序。

Answer 2

也许这会对某些人有帮助。我已经通过使用OpenCV库从相机中检索帧解决了这个问题。在OpenCv 3中有一个方法onCameraFrame(CvCameraViewFrame inputFrame)：

    public Mat onCameraFrame(CvCameraViewFrame inputFrame) {

    // here you can do something with inputFrame before it appears on the preview

    return inputFrame.rgba();
}

您可以尝试使用samples文件夹中的Camera Preview项目。

或者你可以在ndk https://vec.io/posts/how-to-render-image-buffer-in-android-ndk-native-code中这样做，但我还没有尝试过这款喷气机。

或者你可以在这里找到用NDK https://github.com/youten/YUV420SP在C/C++中从YUV到RGB的解码。