我使用iPhone X上的正面摄像头运行人脸地标检测,并且非常努力地获取面部地标的三维点(VNFaceLandmarkRegion2D只给出图像坐标X,Y)。
我一直试图使用ARSCNView.hitTest或ARFrame.hitTest,但到目前为止都没有成功。我认为我的错误可能是将初始地标点转换为正确的坐标系。我试过很多次排列,但目前基于我的研究,这是我想出的:
let point = CGPoint(x: landmarkPt.x * faceBounds.width + faceBounds.origin.x, y: (1.0 - landmarkPt.y) * faceBounds.height + faceBounds.origin.y)
let screenPoint = CGPoint(point.x * view.bounds.width, point.y * view.bounds.height)
frame.hitTest(screenPoint, types: ARHitTestResult.ResultType.featurePoint)我也试过
let newPoint = CGPoint(x: point.x, y: 1.0 - point.y) 在转换之后,但似乎什么也没有起作用。我的frame.hitTest结果总是空的。我在转换过程中遗漏了什么吗?
前面的摄像头会增加更多的水平吗?(我还尝试在一点上反演初始X值,以防坐标系统被镜像)。在我看来,最初的里程碑式normalizedPoints有时是负的,有时也大于1.0,这对我来说没有任何意义。如果这很重要的话,我用ARSession.currentFrame?.capturedImage来捕捉正面摄像头的画面。
任何帮助都是非常非常感谢的,非常感谢!
-解决了--
对于任何有类似问题的人:我终于得到了测试结果!
for point in observation.landmarks?.allPoints?.pointsInImage(imageSize: sceneView.bounds.size) {
let result = ARSCNView.hitTest(point, options: [ARSCNHitTestOption.rootNode: faceNode)
}我使用人脸几何学作为一个遮挡节点附加到面部节点。
谢谢Rickster!
发布于 2018-01-08 19:33:17
你用的是ARFaceTrackingConfiguration,对吧?在这种情况下,featurePoint命中测试类型不会帮助您,因为特征点是世界跟踪的一部分,而不是脸跟踪.事实上,几乎所有的ARKit命中测试机器都是专门针对世界跟踪的,而对面向跟踪并没有什么用处。
你可以做的是使用人脸网格(ARFaceGeometry)和人脸姿态跟踪(ARFaceAnchor)从2D图像点到三维世界空间(或相机空间)点。至少有几条路你可以走下去:
ARSCNView.hitTest(_:options:) (从SCNSceneRenderer继承),而不是hitTest(_:types:)。当然,这意味着您需要使用ARSCNFaceGeometry来可视化场景中的人脸网格,并使用ARSCNView的节点/锚映射来跟踪人脸的姿态(不过,如果您想让视频图像显示出来,就可以使网格透明)--否则SceneKit点击测试将没有任何SceneKit几何形状可供查找。ARCamera有视图和投影矩阵,告诉你2D屏幕投影与三维世界空间的关系,ARFaceAnchor告诉你脸在世界空间里的位置,ARFaceGeometry告诉你脸的每个点在哪里,所以它只是一个从屏幕点到人脸网格点的bunch of math,反之亦然。https://stackoverflow.com/questions/48155766
复制相似问题