将复杂值图像输入神经网络(tensorflow)

Question

我正在做一个项目，试图“学习”一组大约10k的复值输入图像(振幅/相位；实/imag)和一个包含48个条目的实值输出向量之间的关系。这个输出向量不是一组标签，而是一组数字，这些数字代表了优化给定复杂值图像的视觉印象的最佳参数。这些参数由一种算法生成。有可能，数据中存在一些噪声(从图像和生成参数向量的算法开始)。

这些参数更少地依赖于输入图像的FFT (快速傅里叶变换).在此之前，我正在考虑给网络(5个隐藏层，但架构现在不重要)一个一维重塑版本的快速傅立叶变换(ComplexImage)-一些伪代码：

     // discretize spectrum
     obj_ft = fftshift(fft2(object));

     obj_real_2d = real(obj_ft);
     obj_imag_2d = imag(obj_ft);

     // convert 2D in 1D rows
     obj_real_1d = reshape(obj_real_2d, 1, []);
     obj_imag_1d = reshape(obj_imag_2d, 1, []);


     // create complex variable for 1d object and concat
     obj_complx_1d(index, :) = [obj_real_1d obj_imag_1d];

     opt_param_1D(index, :) = get_opt_param(object);

我想知道是否有更好的方法将复杂的图像输入到深层网络中。我想避免使用复杂的梯度，因为它真的没有必要？！我“只是”尝试找到一个“黑匣子”，它输出优化后的参数插入一个新的图像。

Tensorflow获得输入：、obj_complx_1d、和输出向量opt_param_1D，用于培训。

Answer 1

有几种方法可以将复杂的信号作为输入。

使用转换将它们转换为“图像”。利用短时傅里叶变换生成二维光谱图。X轴是时间，y轴是频率.如果您有复杂的输入数据，您可以选择简单地查看所转换数据的震级谱或功率谱密度。

我在实践中看到的另一种方法是在网络的早期层处理同相信道和正交信道(实/虚)，并在更高的层次上跨两层运行。在早期层中，您的网络将学习每个通道的特性，在较高层中它将了解I/Q通道之间的关系。

这些家伙用复杂的信号和神经网络做很多事情。特别是看看“卷积无线电调制识别网络”

https://radioml.com/research/

Answer 2

在模型中使用复梯度来输入复数数值的最简单方法是用不同的表示形式表示复值。主要有两种方式：

1. 幅度/角度分量
2. 实/虚分量

我将用震级/角度分量来展示这个想法。假设您有一个用shape = (WIDTH, HEIGHT)表示图像的2d numpy数组

import numpy as np
kSpace = np.fft.ifftshift(np.fft.fft2(img))

这会给你一个二维的复杂数组。然后，可以将数组转换为

data = np.dstack((np.abs(kSpace), np.angle(kSpace)))

这个数组将是一个带有shape = (WIDTH, HEIGHT, 2)的numpy数组。此数组表示一个复杂的值图像。对于一组图像，请确保将它们连接在一起，以获得一个shape = (NUM_IMAGES, WIDTH, HEIGHT, 2)数组

我做了一个简单的例子，使用tensorflow学习一个简单的神经网络傅里叶变换。您可以在https://github.com/michaelmendoza/learning-tensorflow上找到这个示例