如何在PyTorch中使用2幅图像作为培训样本？

Question

我刚开始深入学习，我的第一个作业是完成一个基于卷积神经网络的树叶分类系统。我用github上的代码构建了一个resnet-34模型来做it.However，我的老师告诉我，他的数据集中的基本训练单元是图像对。我应该使用2幅图像(在不同光照条件下的同一片叶子的照片)作为输入，将两幅3通道图像合并成一幅6通道图像，但我不知道如何输入2幅图像并将它们组合成6 channels.How，我能这样做吗?有什么功能吗?我应该修改resnet网络的结构吗？

这是我的数据集，你可以看到每两张图片都是同一片叶子。

Answer 1

你有几个问题要解决：

1. 您需要一个带有返回2个图像(和一个标签)的__getitem__方法的Dataset，而不是返回单个图像和标签的基本图像。您可能需要确保您应用于图像的增强以相同的方式应用于每一对图像。customize your own dataset.
2. Make
3. 您需要修改ResNet-34网络以获得输入的2个图像，而不是一个。例如，看看this answer如何做到这一点。
4. 您需要更改第一个卷积层，使其有6个输入通道，而不是3个输入通道。如果您想使用预先训练过的权重，您将无法加载现有的state_dict of ResNet34，因为更改了#3和#4 --您必须第一次手动完成。

。