我试图通过使用音频和图像来预测疾病的概率,音频和图像并不来自同一个来源。我正在考虑将两个模型的输出(可能是平均值)结合起来,一个使用图像数据来计算概率,另一个使用音频数据。我对这种方法感到不确定,因为我无法验证最终的合并输出。结果是可靠的,还是我应该使用不同的方法?
发布于 2020-06-07 20:29:00
您可以尝试融合图像和音频数据。你可以用不同的方式融合:
1)特征级的早期融合
2)后期融合--输出级的融合(类似于你的想法)
以下是一些供您参考的论文:
听着,听着,学习https://arxiv.org/pdf/1705.08168.pdf
在多模式深度学习https://arxiv.org/pdf/1805.11730.pdf中学习组合模式
https://datascience.stackexchange.com/questions/75613
复制相似问题