使用Numpy对数据进行分库以简化线性回归

Question

每个图像都标有左和右运动控制。我已经在下面的图表中绘制了它们。

我使用Keras和TensorFlow作为后端，使用ConvNets进行回归。

很明显，如果我能够删除可见回归左边的训练样本，回归可以变得简单得多。

加载图片和标签的代码非常简单，如下所示：

filenames = glob.glob("../data/*.jpg")

labels = []

images = []

for filename in filenames:
    # Timestamp-LeftMotorControl-RightMotorControl.jpg

    filename = filename.replace('.jpg', '')

    parts = filename.split('-')

    if float(parts[1]) == 0. or float(parts[2]) == 0.:
        continue

    images.append(filename)

    labels.append([float(parts[1]), float(parts[2])])

​

​

首先，有没有一种很好的方法从训练样本中剔除超出可见回归界限的数据？

此外，我在脑海中有一个不同的方法，那就是创建具有0到1边缘的100数据箱，然后从每个箱中抽取50个样本，以便我的数据是平衡的。

有没有一种numpy方法可以把数据放入容器中，这样我就不需要使用一些自定义函数了？

Answer 1

回答第一个问题：

1. 对整个数据集进行线性回归拟合
2. 移除具有最大残差1和2的点，直到所有残差都适当地变小