首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >难以从iPhone X上的2D区域获取人脸地标点的深度(SceneKit/ARKit应用)

问难以从iPhone X上的2D区域获取人脸地标点的深度(SceneKit/ARKit应用)
EN

Stack Overflow用户
提问于 2018-01-08 18:07:35
回答 1查看 1.7K关注 0票数 2

我使用iPhone X上的正面摄像头运行人脸地标检测,并且非常努力地获取面部地标的三维点(VNFaceLandmarkRegion2D只给出图像坐标X,Y)。

我一直试图使用ARSCNView.hitTest或ARFrame.hitTest,但到目前为止都没有成功。我认为我的错误可能是将初始地标点转换为正确的坐标系。我试过很多次排列,但目前基于我的研究,这是我想出的:

代码语言:javascript
复制
let point = CGPoint(x: landmarkPt.x * faceBounds.width + faceBounds.origin.x, y: (1.0 - landmarkPt.y) * faceBounds.height + faceBounds.origin.y)
let screenPoint = CGPoint(point.x * view.bounds.width, point.y * view.bounds.height)
frame.hitTest(screenPoint, types: ARHitTestResult.ResultType.featurePoint)

我也试过

代码语言:javascript
复制
let newPoint = CGPoint(x: point.x, y: 1.0 - point.y) 

在转换之后,但似乎什么也没有起作用。我的frame.hitTest结果总是空的。我在转换过程中遗漏了什么吗?

前面的摄像头会增加更多的水平吗?(我还尝试在一点上反演初始X值,以防坐标系统被镜像)。在我看来,最初的里程碑式normalizedPoints有时是负的,有时也大于1.0,这对我来说没有任何意义。如果这很重要的话,我用ARSession.currentFrame?.capturedImage来捕捉正面摄像头的画面。

任何帮助都是非常非常感谢的,非常感谢!

-解决了--

对于任何有类似问题的人:我终于得到了测试结果!

代码语言:javascript
复制
for point in observation.landmarks?.allPoints?.pointsInImage(imageSize: sceneView.bounds.size) {
    let result = ARSCNView.hitTest(point, options: [ARSCNHitTestOption.rootNode: faceNode)
}

我使用人脸几何学作为一个遮挡节点附加到面部节点。

谢谢Rickster!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-01-08 19:33:17

你用的是ARFaceTrackingConfiguration,对吧?在这种情况下,featurePoint命中测试类型不会帮助您,因为特征点是世界跟踪的一部分,而不是脸跟踪.事实上,几乎所有的ARKit命中测试机器都是专门针对世界跟踪的,而对面向跟踪并没有什么用处。

你可以做的是使用人脸网格(ARFaceGeometry)和人脸姿态跟踪(ARFaceAnchor)从2D图像点到三维世界空间(或相机空间)点。至少有几条路你可以走下去:

  1. 如果您已经在使用SceneKit,您可以使用SceneKit的命中测试而不是ARKit的。(也就是说,您是针对在SceneKit中建模的“虚拟”几何图形进行测试,而不是针对由ARKit建模的真实环境的稀疏估计。在这种情况下,面部网格的“虚拟”几何通过ARKit进入ARKit)。也就是说,您需要ARSCNView.hitTest(_:options:) (从SCNSceneRenderer继承),而不是hitTest(_:types:)。当然,这意味着您需要使用ARSCNFaceGeometry来可视化场景中的人脸网格,并使用ARSCNView的节点/锚映射来跟踪人脸的姿态(不过,如果您想让视频图像显示出来,就可以使网格透明)--否则SceneKit点击测试将没有任何SceneKit几何形状可供查找。
  2. 如果您没有使用SceneKit,或者由于某些原因无法将面部网格放到场景中,那么您就拥有了重建针对面部网格的命中测试所需的所有信息。ARCamera有视图和投影矩阵,告诉你2D屏幕投影与三维世界空间的关系,ARFaceAnchor告诉你脸在世界空间里的位置,ARFaceGeometry告诉你脸的每个点在哪里,所以它只是一个从屏幕点到人脸网格点的bunch of math,反之亦然。
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/48155766

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档