Sceneform:在ExternalTexture中渲染WebRTC媒体流

Question

我正在尝试开发一个AR应用程序来帮助视障人士改善他们访问计算机的条件。

我正在研究AR如何帮助视觉障碍的人机交互，所以，这个应用程序正在使用WebRTC在AR环境下使用Sceneform来放大计算机桌面。

我已经成功地使用了Sceneform示例https://github.com/google-ar/sceneform-android-sdk/tree/master/samples/chromakeyvideo，但是，我不知道如何将WebRTC流直接呈现为ExternalTexture。-> https://github.com/judicapo/MUITSS-ARBE/tree/master/SampleApps/ARCK

我已经尝试了一些Stackoverflow的答案，但是，没有找到线索。

感谢所有人的回复，希望有人有任何想法。

Answer 1

老实说，我没有用过这个。但我可以想出一种方法来解决这个问题。

与其在纹理上使用chromaKey渲染，为什么不试试“ViewRenderable”呢？使用它，你可以将任何android View放到一个节点上。您只需要放置一个VideoView并执行webRTC魔术。如果有效，请让我知道

https://developers.google.com/ar/reference/java/sceneform/reference/com/google/ar/sceneform/rendering/ViewRenderable

https://developers.google.com/ar/develop/java/sceneform/create-renderables

AugmentedImage示例- https://proandroiddev.com/arcore-sceneform-simple-video-playback-3fe2f909bfbc

ViewRenderable示例- https://github.com/Hariofspades/ARExperiments/blob/master/AugmentedImages/app/src/main/java/com/hariofspades/augmentedimages/common/AugmentedImageNode.java