如何使用Tango3DR_updateTexture？

Question

我试图使3DR纹理，但它总是使用顶点颜色的纹理。

在每一帧上，我将帧存储为PNG：

    RGBImage frame(t3dr_image, 4);
    std::ostringstream ss;
    ss << dataset_.c_str();
    ss << "/";
    ss << poses_.size();
    ss << ".png";
    frame.Write(ss.str().c_str());
    poses_.push_back(t3dr_image_pose);
    timestamps_.push_back(t3dr_image.timestamp);

在保存方法中，我试图处理纹理：

1)从上下文中提取完整的网格。

    Tango3DR_Mesh* mesh = 0;
    Tango3DR_Status ret;
    ret = Tango3DR_extractFullMesh(t3dr_context_, &mesh);
    if (ret != TANGO_3DR_SUCCESS)
        std::exit(EXIT_SUCCESS);

2)使用提取的网格创建纹理上下文。

    Tango3DR_ConfigH textureConfig;
    textureConfig = Tango3DR_Config_create(TANGO_3DR_CONFIG_TEXTURING);
    ret = Tango3DR_Config_setDouble(textureConfig, "min_resolution", 0.01);
    if (ret != TANGO_3DR_SUCCESS)
        std::exit(EXIT_SUCCESS);
    Tango3DR_TexturingContext context;
    context = Tango3DR_createTexturingContext(textureConfig, dataset.c_str(), mesh);
    if (context == nullptr)
        std::exit(EXIT_SUCCESS);
    Tango3DR_Config_destroy(textureConfig);

3)用我以前存储的数据调用Tango3DR_updateTexture (这不起作用)

    for (unsigned int i = 0; i < poses_.size(); i++) {
        std::ostringstream ss;
        ss << dataset_.c_str();
        ss << "/";
        ss << i;
        ss << ".png";
        RGBImage frame(ss.str());
        Tango3DR_ImageBuffer image;
        image.width = frame.GetWidth();
        image.height = frame.GetHeight();
        image.stride = frame.GetWidth() * 3;
        image.timestamp = timestamps_[i];
        //data are for sure in this format
        image.format = TANGO_3DR_HAL_PIXEL_FORMAT_RGB_888;
        image.data = frame.GetData();
        ret = Tango3DR_updateTexture(context, &image, &poses_[i]);
        if (ret != TANGO_3DR_SUCCESS)
            std::exit(EXIT_SUCCESS);
    }

4)纹理化网格

    ret = Tango3DR_Mesh_destroy(mesh);
    if (ret != TANGO_3DR_SUCCESS)
        std::exit(EXIT_SUCCESS);
    mesh = 0;
    ret = Tango3DR_getTexturedMesh(context, &mesh);
    if (ret != TANGO_3DR_SUCCESS)
        std::exit(EXIT_SUCCESS);

5)将其保存为OBJ (在结果中，纹理只是来自顶点颜色的数据，为什么？)

    ret = Tango3DR_Mesh_saveToObj(mesh, filename.c_str());
    if (ret != TANGO_3DR_SUCCESS)
        std::exit(EXIT_SUCCESS);
    ret = Tango3DR_destroyTexturingContext(context);
    if (ret != TANGO_3DR_SUCCESS)
        std::exit(EXIT_SUCCESS);
    ret = Tango3DR_Mesh_destroy(mesh);
    if (ret != TANGO_3DR_SUCCESS)
        std::exit(EXIT_SUCCESS);

所有方法都返回TANGO_3DR_SUCCESS。

完整代码在这里：https://github.com/lvonasek/tango

Answer 1

感谢您的帮助并提供详细的代码分解。

错误在我们的末端-库目前不支持RGB纹理输入。它假设所有输入图像都是YUV。我打开了一个票据来跟踪这个错误，我们将在下一个版本中修复它，方法是允许RGB输入并为无效的图像格式提供更好的返回值。

编辑：在我们的端发现了另一个bug。API状态image_pose应该是图像的姿态，但是我们的实现实际上期望设备的姿态。我打开了一个bug，这个问题将在下一个版本( release )中修复。

你现在可以尝试通过传递设备的姿态来解决这个问题，而不需要将设备与摄像机之间的外部校准相乘，尽管这当然只是一个临时的绷带。