带有倾斜数据的神经网络回归

Question

我一直在尝试用Keras建立一个机器学习模型，根据预处理参数预测辐射剂量。我的数据集大约有2200个样本，其中20%用于验证和测试。

目标变量的问题是，它是非常倾斜的，因为大辐射剂量比小剂量辐射要少得多。因此，我怀疑我的回归模型根本无法预测大的值，并预测平均值周围的一切，这从数字上是显而易见的。我试图记录目标变量的正规化，使其更加正态分布，但没有产生任何效果。

有什么办法解决这个问题吗？

目标变量

回归预测

Answer 1

在我的例子中，基于10个直方图箱计算单个样本权重是有帮助的。见下面的代码：

import pandas as pd
import numpy as np
from sklearn.utils.class_weight import compute_sample_weight

hist, bin_edges = np.histogram(training_targets, bins = 10)
classes = training_targets.apply(lambda x: pd.cut(x, bin_edges, labels = False, 
                                                  include_lowest = True)).values
sample_weights = compute_sample_weight('balanced', classes)