如何将图像(Texture2D)转换为张量

Question

我叫c# TensorFlow.NET在联合公司工作。但是它使用了来自文件系统的图像。我希望能够使用来自内存的图像(Texture2D)。

我试着学习一些使用TensorFlowSharp的人的例子。但那不管用。

我做错了什么？

注意:对于这两个功能，我使用的是相同的图像。图像为512x512。但是这两张照片的结果是不同的。

// Doesn't work
private NDArray FromTextureToNDArray(Texture2D texture) {
    Color32[] pixels = texture.GetPixels32();

    byte[] floatValues = new byte[(texture.width * texture.height) * 3];

    for (int i = 0; i < pixels.Length; i++) {
        var color = pixels[i];

        floatValues[i * 3] = color.r;
        floatValues[i * 3 + 1] = color.g;
        floatValues[i * 3 + 2] = color.b;
    }

    Shape shape = new Shape(1, texture.width, texture.height, 3);
    NDArray image = new NDArray(floatValues, shape);

    return image;
}

// Works
private NDArray ReadFromFile(string fileName) {
    var graph = new Graph().as_default();

    // Change image
    var file_reader = tf.read_file(fileName, "file_reader");
    var decodeJpeg = tf.image.decode_jpeg(file_reader, channels: 3, name: "DecodeJpeg");

    var casted = tf.cast(decodeJpeg, TF_DataType.TF_UINT8);
    var dims_expander = tf.expand_dims(casted, 0);
    using (var sess = tf.Session(graph)) {
        return sess.run(dims_expander);
    }
}

Answer 1

最后，我使用了来自沙迁：https://github.com/shaqian/TF-Unity/blob/master/TensorFlow/Utils.cs的代码

将此脚本添加到您的项目中，然后您可以像这样使用它：

// Get image
byte[] imageData = Utils.DecodeTexture(texture, texture.width, texture.height, 0, Flip.VERTICAL);
Shape shape = new Shape(1, texture.width, texture.height, 3);
NDArray image = new NDArray(imageData, shape);

Answer 2

用梭鱼作为中间的一步。

var encoder = new Unity.Barracuda.TextureAsTensorData(your_2d_texture);