使用rossharp与Hololens2和Ros通信，并将Hololens2的相机图像发布为raw_image。

Question

我最近开始为Hololens2开发应用程序。我想在团结和罗斯之间使用玫瑰夏普。

现在，我正试图在由Hololens2发布的应用程序中，将Hololens2的相机图像发布给ros。(将MRTK作为一种工具)

首先，我将ImagePublisher脚本附加到Gameobject中，然后从ImageCamera的层次结构中选择MixedRealityPlaySpace /主摄像机。然而，当我播放它，我得到一个错误，Display1没有相机渲染。

所以当我复制主摄像头的时候，它做得很好，应用程序运行良好，数据也被发送出去了。虽然，当我使用rqt_image_view可视化这个图像时，由于整个屏幕是灰色的，Hololens 2的相机图像显示得不太好。

我搜索了很多，但我一开始找不到一个使用这个脚本的地方，没有模型我就不知所措了。

我尝试了以下几点：

• 启用PlayerSettings/PublishingSettings/Capablity/WebCamera
• Hololens2的启用研究模式
• 解压发送的数据，重新发送数据，并尝试显示数据。(结果相同)

我对这些东西还很陌生，很难靠自己来提高。所以我想得到别人的帮助。谢谢。

Answer 1

自从我使用ROS和HoloLens已经有很长时间了，但是那时我在使用ROS2 2-dotnet方面取得了更大的成功，而不是rossharp，如果您想尝试一下的话。

Answer 2

在我目前的理解(这可能是错误的，因为我也是这方面的新手)，一个统一的摄像头是一个观点，显示一个场景给用户在游戏/应用程序，而不是一个面向外界的物理相机。因此，假设您希望访问Hololens的最前面的RGB摄像机并获取真实的图像，ImagePublisher脚本似乎不知道如何访问它。

这里是Peter的一个很好的视频，它展示了如何使用WebCamTexture类从硬件摄像机获取数据。我编写了一个修改后的脚本，使用Peter的代码获取相机图像，并将原始的ROS# ImagePublisher代码发布到ROS中。我不确定这是必要的，还是可以用更好的方式完成的，但我能够看到终端中的像素数据，以及部署到Hololens 2之后的rqt_image_view中的视频流。欢迎您下载或查看，如果它对您有用的话：setup#accessing-the-hololens-front-camera-and-streaming-camera-data-to-ros。

Answer 3

我使用将照片捕获到具有位置的Texture2D of PhotoCapture函数和罗夏普实现了这个请求。

具体而言，在用PhotoCapture函数将照片捕获到PhotoCapture之后，用Texture2D代替ImagePublisher脚本中的变量。通过对上述方法传递的数据进行解压缩，我成功地接收到了这些数据。