我能用人工神经网络来转换一个传感器的图像输出来模拟另一个传感器的输出吗？

Question

比如说，如果我有来自一台高分辨率数码相机的图像数据，并且想让它看起来像是从另一台低分辨率的数码相机上拿来的？训练重叠图像的输入/输出对是否是一种很好的方法？这种技术叫什么？

例如，假设我希望能够在低分辨率图像中计算公园里的长凳。我能浏览这些样本图像并创建一个适当的高分辨率和低分辨率对的数据集来训练一个网络来学习低分辨率工作台的样子吗？如果我的训练集非常多样化的话，我能分辨出低分辨率的长凳吗？(如果整个城市公园与喷泉、树木和雕像等个别物体相比，图像芯片)？

我喜欢这个例子，因为图像来自不同的传感器以及不同的分辨率。我的一些研究让我获得了超分辨率，这和我想要做的完全相反。

至于数据量，要获得高分辨率和低分辨率的重叠图像将是艰苦的，但技术上并不困难。

Answer 1

这是非常有可能的。有一个函数可以将图像从高分辨率图像映射到低维图像，并且可以训练神经网络来学习该功能。

然而，为了训练一个神经网络来做到这一点，你将需要数千张来自两个摄像头的图像。然后，您可以将以高分辨率相机作为输入输入的图片提供给网络，然后用相应的低分辨率图像计算网络在输出端的损失。

如果您没有这么多的图像，就有工作在拍摄图像和应用某种类型的过滤器来改变它们的外观。这些技术通常被称为样式转移，您可以找到一些教程这里和代码，我已经尝试过，并且可以确认works 这里。使用旧相机可能很难获得具有代表性的图像作为样式图像。你可以试几张照片，或者一张白色背景的照片，你必须试一试，我不知道在这种情况下什么是可行的。

如果你分享你的数据的例子，我们可以帮助你更多。

Answer 2

您注意到有超分辨率，这是一种“信息添加”的图像。相反的可能性很大，但并不是很有用，因为降低分辨率可以通过许多非机器学习技术实现。

你可以试试：

• 获取高分辨率图像和摄像机规格，使用基本图像处理将图像转换为类似于另一个摄像机的结果。
  • 相机分辨率:很容易做适当的图像大小调整，尝试不同的插值算法。
  • 传感器规格:传感器对光有多敏感？颜色/强度的比特深度是多少？这些都是需要考虑的事情。
  • 传感器放大器等雷击条件:基本，ISO，白平衡等。

• 尝试更改这些条件以达到预期的结果。

备注：

• 如果传感器的构造有差异(例如，CMOS和CCD)，那么使用您想要创建的“低分辨率”可能是有用的，因为光饱和的响应有很大的差异等等。
• 训练时，检查图像对齐，因为这会产生最小二乘图像相似性的荒谬差异(您应该尝试使用SIMD)。