ARKit -复制机器人在运动中的角色捕获RealityKit

Question

我正在尝试制作一个3d模型，就像示例提供的机器人(如WWDC 2019年所示)，它可以通过替换苹果给出的机器人字符来模仿我的动作捕捉ARKit 3.0。

所需解决办法：

• 有没有苹果用来创建robot.usdz文件的特殊软件？如果是，请提供详细资料？
• 如何使用苹果基于Python的工具将.glb/.gltf/.obj/.dae文件等格式转换为.usdz而不影响其场景图？
• 如何在Xcode中编辑.usdz文件的场景图并成功地将更改保存到.usdz文件中？

Answer 1

工作ARKit的MoCap解决方案

• 在Autodesk Maya 2020中创建一个字符
• 下载苹果的模型双足骨架并用玛雅美元插件导入Maya
• 适当的操纵苹果的骨架来捕捉运动
• 使用Skin-Bind Skin将骨架绑定到网格
• 在外列中选择骨架和字符网格
• 将模型导出为USD或FBX文件格式

​

​

然后下载用于Xcode 12的USDZ工具和FBX Python。

这里是我的帖子，您可以在这里找到如何在macOS中创建一个.zshrc文件的说明。

测试莫盖德模型：

import RealityKit
import ARKit

class ViewController: UIViewController, ARSessionDelegate {

    @IBOutlet var arView: ARView!
    
    var character: Entity?
    let characterAnchor = AnchorEntity()
    
    override func viewDidAppear(_ animated: Bool) {
        super.viewDidAppear(animated)

        arView.session.delegate = self

        guard ARBodyTrackingConfiguration.isSupported
        else { fatalError("MoCap is available on A12 & later") }
        
        let config = ARBodyTrackingConfiguration()
        arView.session.run(config)
        arView.scene.addAnchor(characterAnchor)
        
        character = try? Entity.load(named: "character")
    }
    
    func session(_ session: ARSession, didUpdate anchors: [ARAnchor]) {
        
        for anchor in anchors {
            
            guard let bodyAnchor = anchor as? ARBodyAnchor
            else { continue }

            let bodyPosition = simd_make_float3(bodyAnchor.transform.columns.3)
            characterAnchor.position = bodyPosition
            characterAnchor.orientation = Transform(matrix: bodyAnchor.transform).rotation

            if let character = character, character.parent == nil {

                characterAnchor.addChild(character)
                characterAnchor.scale = [0.02, 0.02, 0.02]
            }
        }
    }
}