以高性能的方式获取CVPixelBuffer (相机帧和ar模型)

Question

我需要得到一个包含相机帧和AR模型的CVPixelBuffer，以30+ fps的速率放置，最好是低能耗和低CPU影响。

session(_:didUpdate:)中帧的capturedImage不包含AR模型。

我尝试使用sceneView.snapshot()获取UIImage，然后将其转换为CVPixelBuffer。这具有明显的高能量影响。

最后，我还尝试创建一个SCNRenderer，然后使用它通过snapshot(atTime:with:antialiasingMode:)获取UIImage，然后将其转换为CVPixelBuffer。这对CPU和能源的影响较小。但这只在纵向模式下有效，在横向模式下生成的UIImage是错误的。

有没有办法以一种更少的CPU和能源消耗的方式获得CVPixelBuffer (至少与上面相比)？

Answer 1

您可以创建自己的CVPixelBuffer，然后从中获取一个MTLTexture，最后将SCNRenderer渲染到该纹理中。这不会涉及从快照API生成UIImage的CPU开销。

这里的关键部分是use a CVMetalTextureCache，以便从像素缓冲区获得一个金属纹理。