Tensorflow-datasets:即使调整了大小，也不能批量处理不同形状的张量吗？

Question

在使用tensorflow-datasets模块时遇到一些问题。使用stanford_dogs数据集，我将图像大小调整为[180,180]，但是当训练模型时，从错误消息中看，tensorflow似乎正在尝试加载原始大小的图像。

我做错了什么？

复制错误(以及下面的错误)的代码。Dataset在750mb附近。可以将其复制粘贴到google colab中并运行以进行复制。

import io
import numpy as np
import tensorflow as tf
import tensorflow_datasets as tfds

def _normalize_img(img, label):
    img = tf.cast(img, tf.float32) / 255.
    img = tf.image.resize(img,[180,180])
    return (img, label)
    

train_dataset, test_dataset = tfds.load(name="stanford_dogs", split=['train', 'test'], as_supervised=True)

train_dataset = train_dataset.shuffle(1024).batch(32)
train_dataset = train_dataset.map(_normalize_img)

test_dataset = test_dataset.batch(32)
test_dataset = test_dataset.map(_normalize_img)

model = tf.keras.Sequential([
    tf.keras.layers.Conv2D(64,2,padding='same',activation='relu',input_shape=(180,180,3)),
    tf.keras.layers.MaxPooling2D(2),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Conv2D(32,2,padding='same',activation='relu'),
    tf.keras.layers.MaxPooling2D(2),
    tf.keras.layers.Dropout(0.2),
    tf.keras.layers.Flatten(),
    tf.keras.layers.Dense(120,activation='softmax')
])


model.compile(
    optimizer=tf.keras.optimizers.Adam(0.001),
    loss='sparse_categorical_crossentropy')


history = model.fit(
    train_dataset,
    epochs=5)

失败，并显示以下错误：

InvalidArgumentError:  Cannot batch tensors with different shapes in component 0. First element had shape [278,300,3] and element 1 had shape [375,500,3].
     [[node IteratorGetNext (defined at <ipython-input-29-15023f95f627>:39) ]] [Op:__inference_train_function_4908]

Answer 1

您会遇到此错误，因为tf.data.Dataset应用编程接口无法创建一批具有不同形状的张量。由于批处理函数将返回形状为(batch, height, width, channels)的张量，因此height、width和channels的值在整个数据集中必须是恒定的。您可以在Introduction to Tensors guide中阅读有关原因的更多信息。

调整大小后的批处理将解决您的问题：

train_dataset = train_dataset.shuffle(1024)
train_dataset = train_dataset.map(_normalize_img)
# we batch once every image is the same size
train_dataset = train_dataset.batch(32)