基于CNN的词输入回归

Question

我成功地训练了一个具有回归输出层的CNN，以预测图像的数字指标。此外，我想将每个图像的描述编码到CNN中，以获得更好的回归性能。

我的数据是一系列512x512的x射线图像。每张图像都有一个描述，记录了图像是如何拍摄的。例如，图像#1的描述为

Voltage: 40V
Current: 2A
Shuttle speed: 1 sec
Filter material: rhodium

图2的描述是

Voltage: 38V
Current: 1.7A
Shuttle speed: 0.7 sec
Filter material: tungsten

其他图像的描述非常相似，只是参数不同。

我的问题是:我如何将这些描述编码成CNN？

Answer 1

如果你的属性只有几十个可能的值，我建议学习每个属性-值对的嵌入，并将它们与CNN输出连接起来，也许还可以在上面添加一个隐藏层，以便文本和图像特征可以更好地相互作用。

如果文本的结构不是很好，我会使用RNN处理文本(例如，对文本进行标记化，嵌入标记，将它们输入到RNN中，然后获取最终状态)。这将为您提供文本描述的单个向量，您可以再次将其连接到CNN输出。